Utiliser Dask pour entraîner un modèle linéaire
Dask peut servir à entraîner des modèles de Machine Learning sur des ensembles de données trop volumineux pour tenir en mémoire, et vous permet de répartir le chargement des données, le prétraitement et l'entraînement entre plusieurs fils d'exécution, processus et même plusieurs ordinateurs.
Votre tâche consiste à entraîner un modèle de Machine Learning qui prédira la popularité des chansons dans l'ensemble de données Spotify utilisé dans les chapitres précédents. Les données ont déjà été chargées sous forme de DataFrames Dask paresseux. Les variables d'entrée sont disponibles sous dask_X et comprennent quelques colonnes numériques, comme le tempo et la « danceability » de la chanson. Les valeurs cibles sont disponibles sous dask_y et correspondent au score de popularité de chaque chanson.
Cette activité fait partie du cours
Programmation parallèle avec Dask en Python
Instructions de l’exercice
- Importez la classe
SGDRegressordepuissklearn.linear_modelet la classeIncrementaldepuisdask_ml.wrappers. - Créez un modèle de régression linéaire
SGDRegressor. - Utilisez la classe
Incrementalpour encapsuler le modèle afin de pouvoir l'entraîner avec un ensemble de données Dask, et définissez le paramètrescoringà'neg_mean_squared_error'. - Ajustez le modèle encapsulé en effectuant une seule passe sur les données.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import the SGDRegressor and the Incremental wrapper
from ____ import ____
from ____ import ____
# Create a SGDRegressor model
model = ____
# Wrap the model so that it works with Dask
dask_model = ____
# Fit the wrapped model
dask_model.____