Spark ist ein Framework für die Arbeit mit Big Data. In diesem Kapitel lernst du ein paar Grundlagen zu Spark und maschinellem Lernen kennen. Anschließend erfährst du, wie du mit Python eine Verbindung zu Spark herstellst und CSV-Daten lädst.

Maschinelles Lernen & Spark

Eigenschaften von Spark

Komponenten in einem Spark-Cluster

Verbindung zu Spark herstellen

Standort des Spark-Masters

Erstellen einer SparkSession

Daten werden geladen

Flugdaten werden geladen

Laden von SMS-Spam-Daten

Einführung

Jetzt, wo du weißt, wie man Daten in Spark reinbekommt, kannst du mit dem Bau von zwei Arten von Klassifizierungsmodellen weitermachen: Entscheidungsbäume und logistische Regression. Außerdem erfährst du ein paar Ansätze zur Datenaufbereitung.

Datenaufbereitung

Spalten und Zeilen löschen

Spalten bearbeiten

Kategoriale Spalten

Säulen zusammenbauen

Entscheidungsbaum

Trainieren/Testen aufteilen

Entscheidungsbaum erstellen

Entscheidungsbaum bewerten

Logistische Regression

Erstelle ein logistisches Regressionsmodell.

Das logistische Regressionsmodell checken

Text in Tabellen umwandeln

Zeichensetzung, Zahlen und Tokens

Stoppwörter und Hashing

Einen Spam-Klassifizierer trainieren

Klassifikation

Als Nächstes lernst du, wie du lineare Regressionsmodelle erstellst. Außerdem erfährst du, wie du deine Daten durch die Entwicklung neuer Prädiktoren erweitern kannst und wie du nur die relevantesten Prädiktoren auswählst.

Einmalige Kodierung

Codierung des Abflugorts

Codierung der Hemdgrößen

Regression

Flugdauer-Modell: Einfach Abstand halten

Die Koeffizienten erklären

Flugdauer-Modell: Startflughafen hinzufügen

Interpretation der Koeffizienten

Bucketing & Engineering

Abfahrtszeit in Buckets

Flugdauer-Modell: Abfahrtszeit hinzufügen

Regulierung

Flugdauer-Modell: Mehr Funktionen!

Flugdauer-Modell: Regulierung!

Zum Schluss lernst du, wie du deine Modelle effizienter machen kannst. Du wirst sehen, wie du Pipelines nutzen kannst, um deinen Code übersichtlicher und einfacher zu warten zu machen. Dann kannst du mit Kreuzvalidierung deine Modelle besser testen und gute Modellparameter auswählen. Zum Schluss probierst du noch zwei Arten von Ensemble-Modellen aus.

Musik in deinen Ohren

Flugdauer-Modell: Pipeline-Phasen

Flugdauer-Modell: Pipeline-Modell

SMS-Spam-Pipeline

Kreuzvalidierung

Einfaches Flugdauer-Modell kreuzvalidieren

Flugdauer-Modellpipeline kreuzvalidieren

Gittersuche

Flüge mit linearer Regression optimieren

Das beste Modell für die Flugdauer unter die Lupe genommen

SMS-Spam optimiert

Wie viele Modelle für die Rastersuche?

Ensemble

Verspätete Flüge mit Gradient-Boosted Trees

Verspätete Flüge mit einem Random Forest

Zufälligen Wald bewerten

Abschließende Gedanken

Ensembles & Pipelines

Flights

Spark ist ein starkes Tool für alle, die mit Big Data arbeiten. Spark kümmert sich ganz transparent um die Verteilung der Rechenaufgaben über einen Cluster. Das heißt, alles geht schnell und du kannst dich voll auf die Analyse konzentrieren, statt dich mit technischen Details rumzuschlagen. In diesem Kurs lernst du, wie du Daten in Spark bekommst, und dann geht's weiter mit den drei grundlegenden Spark Machine Learning-Algorithmen: Lineare Regression, logistische Regression/Klassifikatoren und das Erstellen von Pipelines. Dabei analysierst du einen großen Datensatz mit Flugverspätungen und Spam-SMS. Mit diesem Hintergrundwissen bist du bereit, die Leistungsfähigkeit von Spark zu nutzen und in deinen eigenen Machine-Learning-Projekten einzusetzen!

<h2>Lerne Apache Spark für maschinelles Lernen zu nutzen</h2> 
Spark ist ein leistungsstarkes, universell einsetzbares Werkzeug für die Arbeit mit Big Data. Spark kümmert sich transparent um die Verteilung von Rechenaufgaben in einem Cluster. Das bedeutet, dass die Abläufe schnell sind, aber es erlaubt dir auch, dich auf die Analyse zu konzentrieren, anstatt dich um technische Details zu kümmern. In diesem Kurs lernst du, wie du Daten in Spark einspeisen kannst, und beschäftigst dich dann mit den drei grundlegenden Algorithmen für maschinelles Lernen in Spark: Lineare Regression, logistische Regression/Klassifikatoren und das Erstellen von Pipelines.
<br><br> 
<h2>Entscheidungsbäume erstellen und testen</h2> 
Das Erstellen eigener Entscheidungsbäume ist eine gute Möglichkeit, um Modelle des maschinellen Lernens kennenzulernen. Du verwendest einen Algorithmus namens "Rekursive Partitionierung", um die Daten in zwei Klassen aufzuteilen und einen Prädiktor innerhalb deiner Daten zu finden, der die informativste Aufteilung der beiden Klassen ergibt, und wiederholst diesen Vorgang mit weiteren Knoten. Du kannst deinen Entscheidungsbaum dann verwenden, um mit neuen Daten Vorhersagen zu treffen.
<br><br> 
<h2>Beherrsche logistische und lineare Regression in PySpark</h2> 
Logistische und lineare Regression sind wichtige maschinelle Lerntechniken, die von PySpark unterstützt werden. Du lernst, wie du logistische Regressionsmodelle erstellst und auswertest, bevor du zu linearen Regressionsmodellen übergehst, mit denen du deine Prädiktoren auf die relevantesten Optionen beschränken kannst.
<br><br> 
Am Ende des Kurses wirst du dein neu erworbenes Wissen über maschinelles Lernen dank der praktischen Aufgaben und Übungsdatensätze, die du während des Kurses findest, sicher anwenden können.

Supervised Learning with scikit-learn

Introduction to PySpark

Lernen Sie, mit Apache Spark Vorhersagen zu treffen: Entscheidungsbäume, Regressionen, Ensembles.

Maschinelles Lernen mit PySpark

Erstelle datenbasierte Vorhersagen mit Apache Spark und Entscheidungsbäumen, logistischer oder linearer Regression, Ensembles und Pipelines.

Big Data mit PySpark

Wissenschaftlerin für maschinelles Lernen in Python

Standort des Spark-Masters

Maschinelles Lernen mit PySpark

Interaktive Übung