La RMSE au fil des itérations d'ALS

Comme vous le savez, ALS alterne entre les deux matrices de facteurs et ajuste leurs valeurs chaque fois pour se rapprocher itérativement de l'approximation de la matrice de cotes originale. Cet exercice vise à vous l'illustrer.

La matrice T est une matrice de cotes, et les matrices F1, F2, F3, F4, F5 et F6 sont les produits d'ALS après respectivement 2, 3, 4, 5 et 6 itérations. Suivez les instructions ci-dessous pour voir comment la RMSE évolue à mesure qu'ALS itère.

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

Instructions de l’exercice

Utilisez getRMSE(pred_matrix, actual_matrix) pour calculer la RMSE de F1.
Placez F2, F3, F4, F5 et F6 dans une seule liste appelée Fs.
Complétez la fonction getRMSEs(listOfPredMatrices, actualValues) pour calculer la RMSE de chaque matrice de la liste Fs.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Use getRMSE(preds, actuals) to calculate the RMSE of matrices T and F1.
getRMSE(____, ____)

# Create list of F2, F3, F4, F5, and F6
Fs = [____, ____, ____, ____, ____]

# Calculate RMSE for F2, F3, F4, F5, and F6.
getRMSEs(____, ____)

Modifier et exécuter le code

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Commencer le cours gratuitement

Ce chapitre vous montrera la puissance des moteurs de recommandation et présentera les différences importantes entre les moteurs de filtrage collaboratif et les moteurs fondés sur le contenu, ainsi que les différents types de données implicites et explicites qu'un moteur de recommandation peut exploiter. Vous découvrirez aussi une méthode très efficace pour mettre au jour des caractéristiques cachées (caractéristiques latentes) que vous n'avez peut‑être même pas repérées dans vos jeux de données clients.

Exercise 1: Pourquoi apprendre à créer des moteurs de recommandation ?Exercise 2: Voyez la puissance d'un moteur de recommandation Exercise 3: La puissance des moteurs de recommandation Exercise 4: Types de moteurs de recommandation et types de données Exercise 5: Filtrage collaboratif vs filtrage fondé sur le contenu Exercise 6: Filtrage collaboratif vs filtrage axé sur le contenu, partie II Exercise 7: Données implicites vs explicites Exercise 8: Types de données de notation Exercise 9: À quoi servent les moteurs de recommandation Exercise 10: Autres utilisations des moteurs de recommandation.Exercise 11: Confirmer la compréhension des caractéristiques latentes

Dans ce chapitre, vous reverrez les notions de base de la multiplication et de la factorisation de matrices, puis vous approfondirez le fonctionnement de l'algorithme Alternating Least Squares et les arguments et hyperparamètres qu'il utilise pour produire les meilleures recommandations possibles. Vous apprendrez aussi des techniques essentielles pour bien préparer vos données pour ALS dans Spark.

Exercise 1: Aperçu de la multiplication de matrices Exercise 2: Multiplication de matrices Exercise 3: Multiplication de matrices, partie II Exercise 4: Aperçu de la factorisation matricielle Exercise 5: Factorisation de matrices Exercise 6: Factorisation de matrices non négatives Exercise 7: Comment ALS alterne pour générer des prédictions Exercise 8: Estimer des recommandations Exercise 9: La RMSE au fil des itérations d'ALS

Exercice en cours

Exercise 10: Préparation des données pour Spark ALS Exercise 11: Format correct et utilisateurs distincts Exercise 12: Attribuer des identifiants entiers aux films Exercise 13: Paramètres et hyperparamètres d'ALS Exercise 14: Créer un modèle ALS Exercise 15: Créer un évaluateur RMSE Exercise 16: Obtenir le RMSE

Dans ce chapitre, vous ferez connaissance avec le jeu de données MovieLens. Vous verrez comment en évaluer la pertinence pour ALS, construire un modèle ALS complet avec validation croisée et apprendre à évaluer sa performance. Ce sera la base de tous les modèles ALS ultérieurs que vous créerez avec PySpark.

Exercise 1: Introduction au jeu de données MovieLens Exercise 2: Explorer les données MovieLens Exercise 3: Calculer la parcimonie Exercise 4: Les méthodes GroupBy et Filter Exercise 5: Statistiques sommaires de MovieLens Exercise 6: Afficher le schéma Exercise 7: Création d'un modèle ALS sur les données MovieLens Exercise 8: Créer des partitions test/entraînement et bâtir votre modèle ALS Exercise 9: Indiquez à Spark comment optimiser votre modèle ALS Exercise 10: Créez votre pipeline de validation croisée Exercise 11: Meilleur modèle et paramètres du meilleur modèle Exercise 12: Évaluation de la performance du modèle Exercise 13: Générer des prédictions et calculer la RMSE Exercise 14: Interpréter la RMSE Exercise 15: Les recommandations sont-elles cohérentes?

Dans la plupart des situations réelles, vous n'aurez pas de données clients « parfaites » pour bâtir un modèle ALS. Ce chapitre vous montrera comment utiliser les données de comportement de vos clients pour « déduire » des évaluations, puis exploiter ces évaluations déduites pour créer un moteur de recommandation ALS. En utilisant le Million Songs Dataset ainsi qu'une autre version de MovieLens, vous apprendrez à tirer parti des données disponibles pour bâtir un moteur de recommandation avec ALS et évaluer sa performance.

Exercise 1: Introduction au jeu de données Million Songs Exercise 2: Valider la compréhension des notions de cote implicite Exercise 3: Statistiques sommaires de MSD Exercise 4: Statistiques sommaires groupées Exercise 5: Ajouter des zéros Exercise 6: Évaluer les modèles à évaluations implicites Exercise 7: Spécifier les hyperparamètres d'ALS Exercise 8: Créer des modèles implicites Exercise 9: Exécuter un modèle ALS implicite avec validation croisée Exercise 10: Extraction des paramètres Exercise 11: Aperçu des évaluations binaires implicites Exercise 12: Performance du modèle binaire Exercise 13: Recommandations à partir de données binaires Exercise 14: Récapitulatif du cours