建立評估器
在做模型挑選的交叉驗證時,第一步是要有方法比較不同的模型。所幸 pyspark.ml.evaluation 子模組提供了各種模型的評估類別。你的模型是二元分類模型,因此你會使用 pyspark.ml.evaluation 模組裡的 BinaryClassificationEvaluator。
這個評估器會計算 ROC 曲線下面積(AUC)。這個指標把二元分類器可能犯的兩種錯誤(假陽性與假陰性)整合為一個簡單的數值。你會在本章結尾更進一步認識它!
本練習屬於課程
PySpark 基礎
練習說明
- 將子模組
pyspark.ml.evaluation以evals匯入。 - 呼叫
evals.BinaryClassificationEvaluator(),並帶入參數metricName="areaUnderROC"來建立evaluator。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Import the evaluation submodule
import ____ as evals
# Create a BinaryClassificationEvaluator
evaluator = ____