Logistic Regression is een populaire methode om een categorische respons te voorspellen. Een van de meest voorkomende toepassingen van logistic regression is het classificeren van berichten of e-mails als spam. In deze oefening in 3 delen bouw je met logistic regression een e-mailspamclassifier met Spark MLlib. Hieronder staan de stappen in het kort om een spamclassifier te maken.

Maak een RDD met strings die e-mails voorstellen.
Voer de functie-extractie-algoritmen van MLlib uit om tekst om te zetten naar een RDD met vectoren.
Roep een classificatie-algoritme aan op de RDD met vectoren om een modelobject te krijgen dat nieuwe punten kan classificeren.
Evalueer het model op een testgegevensset met een van MLlib’s evaluatiefuncties.

In het eerste deel van de oefening laad je de bestanden 'spam' en 'ham' (niet-spam) in RDD's, splits je de e-mails in losse woorden en bekijk je het eerste element in elk van de RDD's.

Onthoud: je hebt een SparkContext sc beschikbaar in je werkruimte. Ook de variabele file_path_spam (het pad naar het 'spam'-bestand) en file_path_non_spam (het pad naar het 'niet-spam'-bestand) zijn al beschikbaar in je werkruimte.

PySpark ML-bibliotheken

Big Data Fundamentals met PySpark

Interactieve oefening met praktijkervaring