开始使用免费开始使用

模型训练与预测

在将数据拆分为训练集和测试集之后,本练习的第二部分,您将使用训练数据来训练 ALS 算法。PySpark MLlib 的 ALS 算法有以下必需参数:rank(模型中的潜在因子数量)和 iterations(运行的迭代次数)。训练完成后,您可以使用该模型对测试数据的评分进行预测。为此,您需要提供测试数据集中的用户列和物品列,最后返回 predictAll() 输出的 2 行结果列表。

请记住,您已经在工作区中拥有 SparkContext sc,以及 training_datatest_data

本练习是课程的一部分

使用 PySpark 的大数据基础

查看课程

练习说明

  • 使用训练数据和指定参数训练 ALS 算法(rank = 10,iterations = 10)。
  • 在测试数据中删除 rating 列,它是第 3 列。
  • 使用测试数据预测评分以测试模型。
  • 返回预测评分结果中的两行列表。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Create the ALS model on the training data
model = ALS.____(____, rank=10, iterations=10)

# Drop the ratings column 
testdata_no_rating = test_data.___(lambda p: (p[0], ____))

# Predict the model  
predictions = model.____(testdata_no_rating)

# Return the first 2 rows of the RDD
predictions.____(2)
编辑并运行代码