Générer des prédictions et calculer la RMSE

Maintenant que nous avons un modèle entraîné sur nos données et ajusté par validation croisée, nous pouvons évaluer ses performances sur le dataframe test. Pour cela, nous allons calculer la RMSE.

À noter : la génération des prédictions de test prend plus de quelques minutes avec ce jeu de données. Pour cette raison, les prédictions de test ont déjà été générées et sont fournies ici sous forme de dataframe nommé test_predictions. Pour référence, elles sont générées avec ce code : test_predictions = best_model.transform(test).

Cet exercice fait partie du cours

<cours>Créer des moteurs de recommandation avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Le dataframe test_predictions contient les prédictions que notre modèle ALS validé par validation croisée a générées à partir du jeu test créé précédemment. Utilisez la méthode .show() pour l’afficher et vérifier si les prédictions semblent proches.
Utilisez l’evaluator que vous avez construit précédemment pour calculer la RMSE en appelant la méthode .evaluate() sur test_predictions. Nommez ce résultat RMSE.
Affichez la RMSE.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# View the predictions 
test_predictions.____()

# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)

Modifier et exécuter le code