1. Apprendre
    2. /
  2. Cours
    3. /
  3. Introduction à Spark avec sparklyr en R
Connected

Exercice

Arbres à gradient boosting : prédiction

Une fois votre modèle entraîné, l'étape suivante consiste à produire des prédictions. Contrairement à base R, qui utilise la fonction predict() pour prédire, sparklyr utilise la fonction ml_predict(). ml_predict() prend deux arguments : un modèle et des données de test.

ml_predict(a_model, testing_data)

Un cas d'usage courant consiste à comparer les réponses prédites aux réponses réelles, puis à tracer ces valeurs dans R. Le canevas de code pour préparer ces données est le suivant. Notez qu'à l'heure actuelle, l'ajout d'une colonne de prédiction doit se faire localement ; vous devez donc d'abord récupérer les résultats avec collect().

predicted_vs_actual <- testing_data %>%
  select(actual) %>%
  collect() %>%
  mutate(predicted)

Instructions

100 XP

Une connexion Spark a été créée pour vous sous le nom spark_conn. Les tibbles associés aux ensembles de données d'entraînement et de test stockés dans Spark ont été prédéfinis comme track_data_to_model_tbl et track_data_to_predict_tbl, respectivement. Le modèle d'arbres à gradient boosting a été prédéfini comme gradient_boosted_trees_model.

  • Définissez une variable predicted qui contient les prédictions du modèle pour nos données de test.
    • Appelez ml_predict() avec le modèle et les données de test en arguments. Cette fonction générera des prédictions pour l'ensemble de test et les ajoutera comme nouvelle colonne nommée prediction.
    • À l'aide de pull(), vous pouvez extraire cette colonne et l'assigner à predicted.
  • Définissez la variable responses pour préparer les données en vue de comparer les réponses prédites aux réponses réelles :
    • Sélectionnez la colonne de réponse year.
    • Récupérez les résultats avec collect().
    • Utilisez mutate() pour ajouter les prédictions contenues dans predicted.