Die logistische Regression ist eine beliebte Methode, um eine kategoriale Antwort vorherzusagen. Einer der häufigsten Anwendungsfälle der logistischen Regression ist wahrscheinlich die Klassifikation von Nachrichten oder E-Mail-Spam. In dieser dreiteiligen Übung erstellst du einen Klassifikator für E-Mail-Spam mithilfe von logistischer Regression und Spark MLlib. Hier sind die nötigen Schritte zur Erstellung eines Spam-Klassifikators:

Erstelle einen RDD aus Strings, die E-Mails darstellen.
Führe die MLlib-Algorithmen zur Merkmalsextraktion aus, um den Text in einen RDD aus Vektoren zu konvertieren.
Rufe einen Klassifikationsalgorithmus mit dem RDD aus Vektoren auf, um ein Modellobjekt zur Klassifikation neuer Datenpunkte zurückzugeben.
Evaluiere das Modell mithilfe eines Testdatensatzes und nutze dazu eine der Evaluierungsfunktionen von MLlib.

Im ersten Teil der Übung lädst du die Spam- und Nicht-Spam-Dateien in RDDs, zerlegst die E-Mails in einzelne Wörter und betrachtest das erste Element in jedem der RDDs.

Zur Erinnerung: Der SparkContext sc ist schon im Arbeitsbereich verfügbar. Auch die Variablen file_path_spam (Pfad zur Spam-Datei) und file_path_non_spam (Pfad zur Nicht-Spam-Datei) sind bereits im Arbeitsbereich vorhanden.

ML-Bibliotheken von PySpark

Grundlagen von Big Data mit PySpark

Interaktive Übung