1. Lernen
    2. /
  2. Kurse
    3. /
  3. Einführung in PySpark
  • 1

    PySpark kennen lernen

    Kostenlos

    In diesem Kapitel lernst du, wie Spark mit Daten umgeht und wie du mit Python Tabellen lesen und schreiben kannst.

  • 2

    Daten manipulieren

    In diesem Kapitel lernst du das Modul pyspark.sql kennen, das optimierte Datenabfragen für deine Spark-Sitzung bereitstellt.

  • 3

    Erste Schritte mit Machine-Learning-Pipelines

    PySpark verfügt über integrierte, hochmoderne Machine-Learning-Routinen sowie über Hilfsprogramme zur Erstellung kompletter Machine-Learning-Pipelines. In diesem Kapitel lernst du mehr darüber.

  • 4

    Modelloptimierung und -auswahl

    In diesem letzten Kapitel wendest du das Gelernte an, um ein Modell zu erstellen, das vorhersagt, welche Flüge verspätet sein werden.

Initializing

Ubung

Den Evaluator erstellen

Wenn du eine Kreuzvalidierung für die Modellauswahl durchführst, brauchst du zuerst eine Möglichkeit, verschiedene Modelle zu vergleichen. Zum Glück hat das Untermodul pyspark.ml.evaluation Klassen für die Auswertung verschiedener Modelle. Da es sich bei deinem Modell um ein binäres Klassifizierungsmodell handelt, verwendest du den BinaryClassificationEvaluator aus dem Modul pyspark.ml.evaluation.

Dieser Evaluator berechnet die Fläche unter ROC. Dies ist ein Maß, das die beiden Arten von Fehlern, die ein binärer Klassifikator machen kann (falsch-positiv und falsch-negativ), in einer einzigen Zahl zusammenfasst. Am Ende dieses Kapitels erfährst du mehr darüber!

Anweisungen

100 XP
  • Importiere das Untermodul pyspark.ml.evaluation als evals.
  • Erstelle evaluator, indem du evals.BinaryClassificationEvaluator() mit dem Argument metricName="areaUnderROC" aufrufst.