使用 Dask 训练线性模型
Dask 可用于在超出内存容量的数据集上训练机器学习模型,并且允许您将数据加载、预处理和训练分布到多个线程、多个进程,甚至多台计算机上。
您的任务是训练一个机器学习模型,用来预测前面章节中使用的 Spotify 数据集里的歌曲热度。数据已作为惰性计算的 Dask DataFrame 加载。输入变量保存在 dask_X 中,包含一些数值列,例如歌曲的节奏(tempo)和可舞性(danceability)。目标值保存在 dask_y 中,对应每首歌的热度分数。
本练习是课程的一部分
Python 中的 Dask 并行编程
练习说明
- 从
sklearn.linear_model导入SGDRegressor类,并从dask_ml.wrappers导入Incremental类。 - 创建一个
SGDRegressor线性回归模型。 - 使用
Incremental类包装该模型,使其能够用 Dask 数据集进行训练,并将scoring参数设为'neg_mean_squared_error'。 - 仅用一次遍历数据来拟合这个包装后的模型。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import the SGDRegressor and the Incremental wrapper
from ____ import ____
from ____ import ____
# Create a SGDRegressor model
model = ____
# Wrap the model so that it works with Dask
dask_model = ____
# Fit the wrapped model
dask_model.____