Logistická regrese je oblíbená metoda pro předpovídání kategoriálních odpovědí. Jednou z jejích nejběžnějších aplikací je klasifikace spamu ve zprávách nebo e-mailech. V tomto třídílném cvičení vytvoříš klasifikátor e-mailového spamu pomocí logistické regrese a Spark MLlib. Tady jsou stručné kroky pro jeho vytvoření.

Vytvoř RDD řetězců reprezentujících e-maily.
Spusť algoritmy pro extrakci příznaků z MLlib, které převedou text na RDD vektorů.
Zavolej klasifikační algoritmus na RDD vektorů a získej model pro klasifikaci nových dat.
Vyhodnoť model na testovací sadě pomocí některé z evaluačních funkcí MLlib.

V první části cvičení načteš soubory se spamem a s „hamem" (nespamem) do RDD, rozdělíš e-maily na jednotlivá slova a podíváš se na první prvek každého RDD.

Nezapomeň, že ve svém pracovním prostředí máš k dispozici SparkContext sc. Proměnná file_path_spam (cesta k souboru se spamem) i file_path_non_spam (cesta k souboru s nespamem) jsou také již k dispozici.

PySpark ML knihovny

Big Data Fundamentals with PySpark

Interaktivní praktické cvičení