Créer l'évaluateur

La première chose dont vous avez besoin pour faire une validation croisée en vue de sélectionner un modèle, c'est un moyen de comparer différents modèles. Heureusement, le sous-module pyspark.ml.evaluation propose des classes pour évaluer divers types de modèles. Votre modèle est un modèle de classification binaire; vous allez donc utiliser BinaryClassificationEvaluator du module pyspark.ml.evaluation.

Cet évaluateur calcule l'aire sous la courbe ROC. Il s'agit d'une mesure qui combine les deux types d'erreurs qu'un classificateur binaire peut commettre (faux positifs et faux négatifs) en un seul nombre. Vous en verrez davantage vers la fin du chapitre!