SMS spam optimisé

Le pipeline que vous avez construit plus tôt pour le modèle de détection de spam SMS utilisait les paramètres par défaut pour tous les éléments. Il est toutefois peu probable que ces paramètres donnent un modèle particulièrement performant. Dans cet exercice, vous allez exécuter le pipeline pour une sélection de valeurs de paramètres. Nous allons procéder de manière systématique : les valeurs de chaque hyperparamètre seront disposées sur une grille, puis le pipeline sera exécuté point par point sur cette grille.

Dans cet exercice, vous allez configurer une grille de paramètres qui pourra être utilisée avec la validation croisée pour choisir un bon ensemble de paramètres pour le classifieur de spam SMS.

Les éléments suivants sont déjà définis :

hasher — un objet HashingTF et
logistic — un objet LogisticRegression.

Cet exercice fait partie du cours

<cours>Apprentissage automatique avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Créez un objet générateur de grille de paramètres.
Ajoutez des points de grille pour les paramètres numFeatures et binary de l'objet HashingTF, en donnant respectivement les valeurs 1024, 4096 et 16384, et True et False.
Ajoutez des points de grille pour les paramètres regParam et elasticNetParam de l'objet LogisticRegression, en donnant respectivement les valeurs 0.01, 0.1, 1.0 et 10.0, et 0.0, 0.5 et 1.0.
Générez la grille de paramètres.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create parameter grid
params = ____()

# Add grid for hashing trick parameters
params = params.____(____, ____) \
               .____(____, ____)

# Add grid for logistic regression parameters
params = params.____(____, ____) \
               .____(____, ____)

# Build parameter grid
params = ____.____()

Modifier et exécuter le code