Tworzenie ewaluatora
Pierwszą rzeczą potrzebną przy krosswalidacji do wyboru modelu jest sposób porównywania różnych modeli. Na szczęście submoduł pyspark.ml.evaluation zawiera klasy do oceny różnych rodzajów modeli. Twój model to model klasyfikacji binarnej, dlatego skorzystasz z klasy BinaryClassificationEvaluator z modułu pyspark.ml.evaluation.
Ten ewaluator oblicza pole pod krzywą ROC. Jest to metryka łącząca dwa rodzaje błędów, jakie może popełnić klasyfikator binarny (fałszywe pozytywne i fałszywe negatywne), w jedną prostą liczbę. Więcej na ten temat dowiesz się pod koniec rozdziału!
To ćwiczenie jest częścią kursu
Podstawy PySpark
Instrukcje do ćwiczenia
- Zaimportuj submoduł
pyspark.ml.evaluationjakoevals. - Utwórz zmienną
evaluator, wywołującevals.BinaryClassificationEvaluator()z argumentemmetricName="areaUnderROC".
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import the evaluation submodule
import ____ as evals
# Create a BinaryClassificationEvaluator
evaluator = ____