Creează evaluatorul
Primul lucru de care ai nevoie când efectuezi validare încrucișată pentru selectarea modelului este o modalitate de a compara diferite modele. Din fericire, submodulul pyspark.ml.evaluation conține clase pentru evaluarea diferitelor tipuri de modele. Modelul tău este un model de clasificare binară, așadar vei folosi BinaryClassificationEvaluator din modulul pyspark.ml.evaluation.
Acest evaluator calculează aria de sub curba ROC. Este o metrică ce combină cele două tipuri de erori pe care le poate face un clasificator binar (fals pozitive și fals negative) într-un singur număr. Vei afla mai multe despre aceasta spre finalul capitolului!
Acest exercițiu face parte din cursul
Fundamente PySpark
Instrucțiuni pentru exercițiu
- Importă submodulul
pyspark.ml.evaluationcu aliasulevals. - Creează
evaluatorapelândevals.BinaryClassificationEvaluator()cu argumentulmetricName="areaUnderROC".
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import the evaluation submodule
import ____ as evals
# Create a BinaryClassificationEvaluator
evaluator = ____