Entraîner un classificateur de pourriel
Les données SMS sont maintenant prêtes pour créer un classificateur. Plus précisément, vous avez :
- retiré les nombres et la ponctuation
- divisé les messages en mots (ou « tokens »)
- retiré les mots vides
- appliqué le « hashing trick » et
- converti en représentation TF-IDF.
Vous devez maintenant scinder les données TF-IDF en ensembles d'entraînement et de test. Ensuite, vous utiliserez les données d'entraînement pour ajuster un modèle de Logistic Regression et, pour finir, évaluer la performance de ce modèle sur les données de test.
Les données sont stockées dans sms et LogisticRegression a été importé pour vous.
Cette activité fait partie du cours
Machine Learning avec PySpark
Instructions de l’exercice
- Divisez les données en ensembles d'entraînement et de test avec un ratio de 4:1. Réglez la graine aléatoire à 13 pour assurer la reproductibilité.
- Créez un objet
LogisticRegressionet ajustez-le aux données d'entraînement. - Générez des prédictions sur les données de test.
- Utilisez les prédictions pour produire une matrice de confusion.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Split the data into training and testing sets
sms_train, sms_test = sms.____(____, ____)
# Fit a Logistic Regression model to the training data
logistic = ____(regParam=0.2).____(____)
# Make predictions on the testing data
prediction = logistic.____(____)
# Create a confusion matrix, comparing predictions to known labels
prediction.groupBy(____, ____).____().____()