Créer l'évaluateur

La première chose dont vous avez besoin lorsque vous effectuez une validation croisée pour la sélection d'un modèle est un moyen de comparer différents modèles. Heureusement, le sous-module pyspark.ml.evaluation propose des classes permettant d'évaluer différents types de modèles. Votre modèle est un modèle de classification binaire, vous utiliserez donc BinaryClassificationEvaluator du module pyspark.ml.evaluation.

Cet évaluateur calcule l'aire sous la courbe ROC. Il s'agit d'une mesure qui combine les deux types d'erreurs qu'un classificateur binaire peut commettre (les faux positifs et les faux négatifs) en un simple chiffre. Vous en apprendrez davantage à ce sujet vers la fin du chapitre.