CommencezCommencez gratuitement

Créer un évaluateur RMSE

Maintenant que vous savez ajuster un modèle aux données d'entraînement et générer des prédictions sur l'ensemble de test, il vous faut une façon d'évaluer les performances du modèle. Pour cela, nous allons créer un evaluator. Dans Spark, on peut configurer des évaluateurs de différentes façons. Dans notre cas, nous voulons un regressionEvaluator qui calcule la RMSE. Une fois notre regressionEvaluator créé, nous pourrons ajuster le modèle à nos données et générer des prédictions.

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

Voir le cours

Instructions de l’exercice

  • Importez le module RegressionEvaluator requis depuis la classe pyspark.ml.evaluation.
  • Complétez le code de l'evaluator en indiquant que le metric name est "rmse". Définissez labelCol avec le nom de la colonne de nos données ratings qui contient les évaluations (utilisez la méthode ratings.columns pour voir les noms de colonnes) et définissez le nom de la colonne de prediction à "prediction".
  • Confirmez que l'evaluator a été correctement créé en extrayant chacun des trois paramètres. Faites-le en exécutant les 3 lignes de code suivantes, chacune dans une instruction print :
    • evaluator.getMetricName()
    • evaluator.getLabelCol()
    • evaluator.getPredictionCol()

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import RegressionEvaluator
from pyspark.ml.evaluation import ____

# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")

# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())
Modifier et exécuter le code