Optimisation du pourriel SMS

Le pipeline que vous avez construit plus tôt pour le modèle de détection de pourriel SMS utilisait les paramètres par défaut pour tous les éléments. Il est toutefois peu probable que ces paramètres donnent un modèle particulièrement performant. Dans cet exercice, vous allez exécuter le pipeline avec une sélection de valeurs de paramètres. Nous allons le faire de façon systématique : les valeurs de chaque hyperparamètre seront disposées sur une grille, puis le pipeline sera exécuté sur chaque point de cette grille.

Dans cet exercice, vous allez configurer une grille de paramètres à utiliser avec la validation croisée afin de choisir un bon jeu de paramètres pour le classificateur de pourriel SMS.

Les éléments suivants sont déjà définis :

hasher — un objet HashingTF et
logistic — un objet LogisticRegression.

Cette activité fait partie du cours

Machine Learning avec PySpark

Voir le cours

Instructions de l’exercice

Créez un objet générateur de grille de paramètres.
Ajoutez des points de grille pour les paramètres numFeatures et binary de l'objet HashingTF, avec respectivement les valeurs 1024, 4096 et 16384, et True et False.
Ajoutez des points de grille pour les paramètres regParam et elasticNetParam de l'objet LogisticRegression, avec respectivement les valeurs 0.01, 0.1, 1.0 et 10.0, et 0.0, 0.5 et 1.0.
Générez la grille de paramètres.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create parameter grid
params = ____()

# Add grid for hashing trick parameters
params = params.____(____, ____) \
               .____(____, ____)

# Add grid for logistic regression parameters
params = params.____(____, ____) \
               .____(____, ____)

# Build parameter grid
params = ____.____()

Modifier et exécuter le code