Optimisation du pourriel SMS

Le pipeline que vous avez construit plus tôt pour le modèle de détection de pourriel SMS utilisait les paramètres par défaut pour tous les éléments. Il est toutefois peu probable que ces paramètres donnent un modèle particulièrement performant. Dans cet exercice, vous allez exécuter le pipeline pour une sélection de valeurs de paramètres. Nous allons procéder de façon systématique : les valeurs de chaque hyperparamètre seront disposées sur une grille, puis le pipeline sera exécuté systématiquement à chaque point de cette grille.

Dans cet exercice, vous allez configurer une grille de paramètres pouvant être utilisée avec la validation croisée pour choisir un bon ensemble de paramètres pour le classifieur de pourriel SMS.

Les éléments suivants sont déjà définis :

hasher — un objet HashingTF et
logistic — un objet LogisticRegression.

Cette activité fait partie du cours

Machine Learning avec PySpark

Voir le cours

Instructions de l’exercice

Créez un objet générateur de grille de paramètres.
Ajoutez des points de grille pour les paramètres numFeatures et binary de l'objet HashingTF, en donnant respectivement les valeurs 1024, 4096 et 16384, et True et False.
Ajoutez des points de grille pour les paramètres regParam et elasticNetParam de l'objet LogisticRegression, en donnant respectivement les valeurs 0.01, 0.1, 1.0 et 10.0, et 0.0, 0.5 et 1.0.
Générez la grille de paramètres.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create parameter grid
params = ____()

# Add grid for hashing trick parameters
params = params.____(____, ____) \
               .____(____, ____)

# Add grid for logistic regression parameters
params = params.____(____, ____) \
               .____(____, ____)

# Build parameter grid
params = ____.____()

Modifier et exécuter le code