建立你的交叉驗證管線
現在我們已經有資料、訓練/測試切分、模型,以及超參數的候選值,接下來就告訴 Spark 如何對模型進行交叉驗證,讓它找出最佳的超參數組合並回傳給我們。
本練習屬於課程
使用 PySpark 打造推薦引擎
練習說明
- 建立一個名為
cv的CrossValidator,以als模型作為 estimator,將estimatorParamMaps設為你剛建立的param_grid。告訴 Spark 要使用我們先前建立的"evaluator"作為evaluator。將numFolds設為 5。 - 透過列印
cv來確認我們的cv已建立。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)
# Confirm cv was built
print(____)