Afficher le schéma

Comme vous l'avez vu dans les chapitres précédents, l'implémentation d'ALS dans Spark exige que les movieId et userId soient fournis en tant qu'entiers (integer). Plusieurs jeux de données doivent donc être préparés en conséquence pour fonctionner correctement avec Spark. Un problème courant est que Spark interprète parfois des nombres comme des chaînes de caractères, et l'inverse.

Ici, vous allez utiliser la méthode .cast() pour régler ce type de problème. Examinons le schéma du jeu de données pour nous assurer qu'il est au bon format.

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

Instructions de l’exercice

Utilisez .printSchema() pour vérifier si le jeu de données des évaluations contient les bons types de données pour qu'ALS fonctionne correctement. Les userId et movieId sont-ils fournis comme entiers (integer) ? Les rating sont-ils en format numérique ?
Assurez-vous que les colonnes du dataframe ratings sont des types de données adéquats. Appelez la méthode cast() sur chaque colonne et indiquez que les colonnes userID et movieId doivent être de type "integer", et que la colonne rating doit être de type "double". (Nous n'avons pas besoin de la colonne timestamp, donc nous pouvons l'ignorer.)
Appelez de nouveau .printSchema() sur ratings pour confirmer que les types de données sont maintenant corrects.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Use .printSchema() to see the datatypes of the ratings dataset
ratings.____()

# Tell Spark to convert the columns to the proper data types
ratings = ratings.select(ratings.userId.cast("____"), ratings.movieId.cast("____"), ratings.rating.cast("____"))

# Call .printSchema() again to confirm the columns are now in the correct format
ratings.____()

Modifier et exécuter le code

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Commencer le cours gratuitement

Ce chapitre vous montrera la puissance des moteurs de recommandation et présentera les différences importantes entre les moteurs de filtrage collaboratif et les moteurs fondés sur le contenu, ainsi que les différents types de données implicites et explicites qu'un moteur de recommandation peut exploiter. Vous découvrirez aussi une méthode très efficace pour mettre au jour des caractéristiques cachées (caractéristiques latentes) que vous n'avez peut‑être même pas repérées dans vos jeux de données clients.

Exercise 1: Pourquoi apprendre à créer des moteurs de recommandation ?Exercise 2: Voyez la puissance d'un moteur de recommandation Exercise 3: La puissance des moteurs de recommandation Exercise 4: Types de moteurs de recommandation et types de données Exercise 5: Filtrage collaboratif vs filtrage fondé sur le contenu Exercise 6: Filtrage collaboratif vs filtrage axé sur le contenu, partie II Exercise 7: Données implicites vs explicites Exercise 8: Types de données de notation Exercise 9: À quoi servent les moteurs de recommandation Exercise 10: Autres utilisations des moteurs de recommandation.Exercise 11: Confirmer la compréhension des caractéristiques latentes

Dans ce chapitre, vous reverrez les notions de base de la multiplication et de la factorisation de matrices, puis vous approfondirez le fonctionnement de l'algorithme Alternating Least Squares et les arguments et hyperparamètres qu'il utilise pour produire les meilleures recommandations possibles. Vous apprendrez aussi des techniques essentielles pour bien préparer vos données pour ALS dans Spark.

Exercise 1: Aperçu de la multiplication de matrices Exercise 2: Multiplication de matrices Exercise 3: Multiplication de matrices, partie II Exercise 4: Aperçu de la factorisation matricielle Exercise 5: Factorisation de matrices Exercise 6: Factorisation de matrices non négatives Exercise 7: Comment ALS alterne pour générer des prédictions Exercise 8: Estimer des recommandations Exercise 9: La RMSE au fil des itérations d'ALS Exercise 10: Préparation des données pour Spark ALS Exercise 11: Format correct et utilisateurs distincts Exercise 12: Attribuer des identifiants entiers aux films Exercise 13: Paramètres et hyperparamètres d'ALS Exercise 14: Créer un modèle ALS Exercise 15: Créer un évaluateur RMSE Exercise 16: Obtenir le RMSE

Dans ce chapitre, vous ferez connaissance avec le jeu de données MovieLens. Vous verrez comment en évaluer la pertinence pour ALS, construire un modèle ALS complet avec validation croisée et apprendre à évaluer sa performance. Ce sera la base de tous les modèles ALS ultérieurs que vous créerez avec PySpark.

Exercise 1: Introduction au jeu de données MovieLens Exercise 2: Explorer les données MovieLens Exercise 3: Calculer la parcimonie Exercise 4: Les méthodes GroupBy et Filter Exercise 5: Statistiques sommaires de MovieLens Exercise 6: Afficher le schéma

Exercice en cours

Exercise 7: Création d'un modèle ALS sur les données MovieLens Exercise 8: Créer des partitions test/entraînement et bâtir votre modèle ALS Exercise 9: Indiquez à Spark comment optimiser votre modèle ALS Exercise 10: Créez votre pipeline de validation croisée Exercise 11: Meilleur modèle et paramètres du meilleur modèle Exercise 12: Évaluation de la performance du modèle Exercise 13: Générer des prédictions et calculer la RMSE Exercise 14: Interpréter la RMSE Exercise 15: Les recommandations sont-elles cohérentes?

Dans la plupart des situations réelles, vous n'aurez pas de données clients « parfaites » pour bâtir un modèle ALS. Ce chapitre vous montrera comment utiliser les données de comportement de vos clients pour « déduire » des évaluations, puis exploiter ces évaluations déduites pour créer un moteur de recommandation ALS. En utilisant le Million Songs Dataset ainsi qu'une autre version de MovieLens, vous apprendrez à tirer parti des données disponibles pour bâtir un moteur de recommandation avec ALS et évaluer sa performance.

Exercise 1: Introduction au jeu de données Million Songs Exercise 2: Valider la compréhension des notions de cote implicite Exercise 3: Statistiques sommaires de MSD Exercise 4: Statistiques sommaires groupées Exercise 5: Ajouter des zéros Exercise 6: Évaluer les modèles à évaluations implicites Exercise 7: Spécifier les hyperparamètres d'ALS Exercise 8: Créer des modèles implicites Exercise 9: Exécuter un modèle ALS implicite avec validation croisée Exercise 10: Extraction des paramètres Exercise 11: Aperçu des évaluations binaires implicites Exercise 12: Performance du modèle binaire Exercise 13: Recommandations à partir de données binaires Exercise 14: Récapitulatif du cours