Types de données de notation

Markus regarde beaucoup de films, dont des documentaires, des films de superhéros, des classiques et des drames. En vous appuyant sur votre expérience préalable avec Spark, utilisez le dataframe markus_ratings, qui contient le nombre de fois où Markus a vu des films dans divers genres, et réfléchissez à s'il s'agit de notes implicites ou explicites. Utilisez la méthode groupBy() pour déterminer quel genre a la note la plus élevée, ce qui pourrait influencer les recommandations qu'ALS générerait pour Markus.

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

Instructions de l’exercice

Utilisez la méthode groupBy() pour regrouper le dataframe markus_ratings par "Genre".
Appliquez la méthode .sum() pour obtenir le nombre total de films regardés pour chaque genre.
Assurez-vous d'ajouter la méthode .show() à la fin pour afficher les décomptes.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Group the data by "Genre"
markus_ratings.____("____").____().____()

Modifier et exécuter le code

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Commencer le cours gratuitement

Ce chapitre vous montrera la puissance des moteurs de recommandation et présentera les différences importantes entre les moteurs de filtrage collaboratif et les moteurs fondés sur le contenu, ainsi que les différents types de données implicites et explicites qu'un moteur de recommandation peut exploiter. Vous découvrirez aussi une méthode très efficace pour mettre au jour des caractéristiques cachées (caractéristiques latentes) que vous n'avez peut‑être même pas repérées dans vos jeux de données clients.

Exercise 1: Pourquoi apprendre à créer des moteurs de recommandation ?Exercise 2: Voyez la puissance d'un moteur de recommandation Exercise 3: La puissance des moteurs de recommandation Exercise 4: Types de moteurs de recommandation et types de données Exercise 5: Filtrage collaboratif vs filtrage fondé sur le contenu Exercise 6: Filtrage collaboratif vs filtrage axé sur le contenu, partie II Exercise 7: Données implicites vs explicites Exercise 8: Types de données de notation

Exercice en cours

Exercise 9: À quoi servent les moteurs de recommandation Exercise 10: Autres utilisations des moteurs de recommandation.Exercise 11: Confirmer la compréhension des caractéristiques latentes

Dans ce chapitre, vous reverrez les notions de base de la multiplication et de la factorisation de matrices, puis vous approfondirez le fonctionnement de l'algorithme Alternating Least Squares et les arguments et hyperparamètres qu'il utilise pour produire les meilleures recommandations possibles. Vous apprendrez aussi des techniques essentielles pour bien préparer vos données pour ALS dans Spark.

Exercise 1: Aperçu de la multiplication de matrices Exercise 2: Multiplication de matrices Exercise 3: Multiplication de matrices, partie II Exercise 4: Aperçu de la factorisation matricielle Exercise 5: Factorisation de matrices Exercise 6: Factorisation de matrices non négatives Exercise 7: Comment ALS alterne pour générer des prédictions Exercise 8: Estimer des recommandations Exercise 9: La RMSE au fil des itérations d'ALS Exercise 10: Préparation des données pour Spark ALS Exercise 11: Format correct et utilisateurs distincts Exercise 12: Attribuer des identifiants entiers aux films Exercise 13: Paramètres et hyperparamètres d'ALS Exercise 14: Créer un modèle ALS Exercise 15: Créer un évaluateur RMSE Exercise 16: Obtenir le RMSE

Dans ce chapitre, vous ferez connaissance avec le jeu de données MovieLens. Vous verrez comment en évaluer la pertinence pour ALS, construire un modèle ALS complet avec validation croisée et apprendre à évaluer sa performance. Ce sera la base de tous les modèles ALS ultérieurs que vous créerez avec PySpark.

Exercise 1: Introduction au jeu de données MovieLens Exercise 2: Explorer les données MovieLens Exercise 3: Calculer la parcimonie Exercise 4: Les méthodes GroupBy et Filter Exercise 5: Statistiques sommaires de MovieLens Exercise 6: Afficher le schéma Exercise 7: Création d'un modèle ALS sur les données MovieLens Exercise 8: Créer des partitions test/entraînement et bâtir votre modèle ALS Exercise 9: Indiquez à Spark comment optimiser votre modèle ALS Exercise 10: Créez votre pipeline de validation croisée Exercise 11: Meilleur modèle et paramètres du meilleur modèle Exercise 12: Évaluation de la performance du modèle Exercise 13: Générer des prédictions et calculer la RMSE Exercise 14: Interpréter la RMSE Exercise 15: Les recommandations sont-elles cohérentes?

Dans la plupart des situations réelles, vous n'aurez pas de données clients « parfaites » pour bâtir un modèle ALS. Ce chapitre vous montrera comment utiliser les données de comportement de vos clients pour « déduire » des évaluations, puis exploiter ces évaluations déduites pour créer un moteur de recommandation ALS. En utilisant le Million Songs Dataset ainsi qu'une autre version de MovieLens, vous apprendrez à tirer parti des données disponibles pour bâtir un moteur de recommandation avec ALS et évaluer sa performance.

Exercise 1: Introduction au jeu de données Million Songs Exercise 2: Valider la compréhension des notions de cote implicite Exercise 3: Statistiques sommaires de MSD Exercise 4: Statistiques sommaires groupées Exercise 5: Ajouter des zéros Exercise 6: Évaluer les modèles à évaluations implicites Exercise 7: Spécifier les hyperparamètres d'ALS Exercise 8: Créer des modèles implicites Exercise 9: Exécuter un modèle ALS implicite avec validation croisée Exercise 10: Extraction des paramètres Exercise 11: Aperçu des évaluations binaires implicites Exercise 12: Performance du modèle binaire Exercise 13: Recommandations à partir de données binaires Exercise 14: Récapitulatif du cours