Logistic Regression adalah metode populer untuk memprediksi respons kategorikal. Salah satu penerapan paling umum dari logistic regression adalah klasifikasi pesan atau email spam. Dalam latihan 3 bagian ini, Anda akan membuat pengklasifikasi email spam dengan logistic regression menggunakan Spark MLlib. Berikut langkah singkat untuk membuat pengklasifikasi spam.

Buat RDD berupa string yang merepresentasikan email.
Jalankan algoritma ekstraksi fitur MLlib untuk mengonversi teks menjadi RDD vektor.
Panggil algoritma klasifikasi pada RDD vektor untuk menghasilkan objek model guna mengklasifikasikan titik data baru.
Evaluasi model pada himpunan data uji menggunakan salah satu fungsi evaluasi MLlib.

Pada bagian pertama latihan, Anda akan memuat berkas 'spam' dan 'ham' (non-spam) ke dalam RDD, memecah email menjadi kata-kata individual, dan melihat elemen pertama dari masing-masing RDD.

Ingat, Anda memiliki SparkContext sc yang tersedia di workspace. Variabel file_path_spam (yang merupakan path ke berkas 'spam') dan file_path_non_spam (yang merupakan path ke berkas 'non-spam') juga sudah tersedia di workspace Anda.

Pustaka ML di PySpark

Fundamental Big Data dengan PySpark

Latihan interaktif langsung