CommencezCommencez gratuitement

Créer des partitions test/entraînement et bâtir votre modèle ALS

Vous savez déjà comment bâtir un modèle ALS, puisque vous l'avez fait au chapitre précédent. Nous allons le refaire, mais en ajoutant quelques étapes pour construire entièrement un modèle avec validation croisée.

D'abord, importez les fonctions requises et créez vos ensembles d'entraînement et de test en prévision de l'étape de validation croisée.

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

Voir le cours

Instructions de l’exercice

  • Importez RegressionEvaluator depuis ml.evaluation, l'algorithme ALS depuis ml.recommendation, ainsi que ParamGridBuilder et CrossValidator depuis ml.tuning.
  • Créez une division entraînement/test de .80/.20 sur les données ratings à l'aide de la méthode randomSplit. Nommez les ensembles train et test, et fixez la graine aléatoire à 1234.
  • Construisez le modèle ALS en indiquant à Spark les noms des colonnes du dataframe ratings qui correspondent à userCol, itemCol et ratingCol. Réglez l'argument nonnegative à True, coldStartStrategy à "drop" et indiquez à Spark qu'il ne s'agit pas de implicitPrefs en réglant l'argument implicitPrefs à False. Nommez ce modèle als.
  • Vérifiez que le modèle a été créé en appelant la fonction type() sur als. Le résultat devrait indiquer de quel type de modèle il s'agit.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import the required functions
from pyspark.ml.evaluation import ____
from pyspark.ml.recommendation import ____
from pyspark.ml.tuning import ____, ____

# Create test and train set
(train, test) = ratings.___([0.____, 0.____], seed = ____)

# Create ALS model
als = ALS(userCol="____", itemCol="____", ratingCol="____", nonnegative = ____, implicitPrefs = ____)

# Confirm that a model called "als" was created
type(____)
Modifier et exécuter le code