Créer un évaluateur RMSE

Vous savez désormais ajuster un modèle sur des données d’entraînement et générer des prédictions sur le test. Il vous faut maintenant un moyen d’évaluer les performances du modèle. Pour cela, nous allons créer un evaluator. Les évaluateurs dans Spark peuvent être configurés de différentes manières. Ici, nous voulons un regressionEvaluator qui calcule la RMSE. Une fois notre regressionEvaluator créé, nous pourrons ajuster le modèle sur nos données et générer des prédictions.

Cet exercice fait partie du cours

<cours>Créer des moteurs de recommandation avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Importez le package RegressionEvaluator requis depuis la classe pyspark.ml.evaluation.
Complétez le code de l’evaluator en spécifiant le metric name à "rmse". Définissez labelCol sur le nom de la colonne de nos données ratings qui contient les notes (utilisez la méthode ratings.columns pour voir les noms de colonnes) et définissez le nom de la colonne de prediction à "prediction".
Vérifiez que l’evaluator a bien été créé en extrayant chacun de ses trois paramètres. Faites-le en exécutant les 3 lignes de code suivantes, chacune dans une instruction print :
- evaluator.getMetricName()
- evaluator.getLabelCol()
- evaluator.getPredictionCol()

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import RegressionEvaluator
from pyspark.ml.evaluation import ____

# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")

# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())

Modifier et exécuter le code