La régression logistique est une méthode populaire pour prédire une réponse catégorielle. L'une des applications les plus courantes de la régression logistique est la classification des messages ou des courriels en pourriel. Dans cet exercice en trois parties, vous allez créer un classificateur de pourriel par régression logistique avec Spark MLlib. Voici les grandes étapes pour créer un classificateur de pourriel.

Créer un RDD de chaînes représentant des courriels.
Exécuter les algorithmes d'extraction de caractéristiques de MLlib pour convertir le texte en un RDD de vecteurs.
Appliquer un algorithme de classification sur le RDD de vecteurs pour obtenir un objet modèle permettant de classifier de nouveaux points.
Évaluer le modèle sur un jeu de test à l'aide d'une des fonctions d'évaluation de MLlib.

Dans la première partie de l'exercice, vous allez charger les fichiers « spam » et « ham » (non-pourriel) dans des RDD, découper les courriels en mots individuels, puis examiner le premier élément de chacun des RDD.

Rappelez-vous que vous avez un SparkContext sc dans votre espace de travail. Les variables file_path_spam (chemin vers le fichier « spam ») et file_path_non_spam (chemin vers le fichier « non-spam ») sont aussi déjà disponibles dans votre espace de travail.

Bibliothèques ML de PySpark

Principes de Big Data avec PySpark

Exercice interactif pratique