Optimisasi spam SMS

Pipeline yang Anda bangun sebelumnya untuk model spam SMS menggunakan parameter default untuk semua elemen dalam pipeline. Namun, sangat kecil kemungkinan parameter tersebut menghasilkan model yang benar-benar baik. Pada latihan ini Anda akan menjalankan pipeline dengan sejumlah pilihan nilai parameter. Kita akan melakukannya secara sistematis: nilai untuk setiap hyperparameter akan disusun dalam sebuah grid, lalu pipeline akan dijalankan secara sistematis pada tiap titik di grid tersebut.

Dalam latihan ini Anda akan menyiapkan grid parameter yang dapat digunakan dengan cross-validation untuk memilih seperangkat parameter yang baik bagi pengklasifikasi spam SMS.

Berikut ini sudah didefinisikan:

hasher — sebuah objek HashingTF dan
logistic — sebuah objek LogisticRegression.

Latihan ini merupakan bagian dari kursus

Machine Learning dengan PySpark

Lihat Kursus

Instruksi latihan

Buat objek pembangun grid parameter.
Tambahkan titik grid untuk parameter numFeatures dan binary pada objek HashingTF, masing-masing dengan nilai 1024, 4096, dan 16384, serta True dan False.
Tambahkan titik grid untuk parameter regParam dan elasticNetParam pada objek LogisticRegression, masing-masing dengan nilai 0.01, 0.1, 1.0, dan 10.0, serta 0.0, 0.5, dan 1.0.
Bangun grid parameter.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Create parameter grid
params = ____()

# Add grid for hashing trick parameters
params = params.____(____, ____) \
               .____(____, ____)

# Add grid for logistic regression parameters
params = params.____(____, ____) \
               .____(____, ____)

# Build parameter grid
params = ____.____()

Edit dan Jalankan Kode