Créer l'évaluateur
La première chose dont vous avez besoin lorsque vous effectuez une validation croisée pour la sélection d'un modèle est un moyen de comparer différents modèles. Heureusement, le sous-module pyspark.ml.evaluation comporte des classes permettant d'évaluer différents types de modèles. Votre modèle est un modèle de classification binaire, vous utiliserez donc le site BinaryClassificationEvaluator du module pyspark.ml.evaluation.
Cet évaluateur calcule la zone située sous le site ROC. Il s'agit d'une mesure qui combine les deux types d'erreurs qu'un classificateur binaire peut commettre (faux positifs et faux négatifs) en un simple nombre. Vous en saurez plus à la fin de ce chapitre !
Cet exercice fait partie du cours
<cours>Introduction à PySpark</cours>Instructions de l’exercice
- Importez le sous-module
pyspark.ml.evaluationsous la formeevals. - Créez
evaluatoren appelantevals.BinaryClassificationEvaluator()avec l'argumentmetricName="areaUnderROC".
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import the evaluation submodule
import ____ as evals
# Create a BinaryClassificationEvaluator
evaluator = ____