Spark ist ein Framework für die Arbeit mit Big Data. In diesem Kapitel erfährst du einiges über Spark und Machine Learning. Anschließend erfährst du, wie du dich mit Python mit Spark verbinden und CSV-Daten laden kannst.

Maschinelles Lernen & Spark

Merkmale von Spark

Komponenten in einem Spark Cluster

Verbinden mit Spark

Standort des Spark-Masters

Erstellen einer SparkSession

Daten laden

Laden von Flugdaten

SMS-Spam-Daten laden

Einführung

Nachdem du dich nun mit dem Einlesen von Daten in Spark vertraut gemacht hast, wirst du zwei Arten von Klassifizierungsmodellen erstellen: Entscheidungsbäume und logistische Regression. Außerdem erfährst du etwas über einige Ansätze zur Datenaufbereitung.

Datenaufbereitung

Entfernen von Spalten und Zeilen

Säulenmanipulation

Kategorische Spalten

Säulen zusammenbauen

Entscheidungsbaum

Zug/Test-Split

Einen Entscheidungsbaum erstellen

Den Entscheidungsbaum auswerten

Logistische Regression

Erstelle ein logistisches Regressionsmodell

Evaluiere das logistische Regressionsmodell

Text in Tabellen umwandeln

Interpunktion, Zahlen und Token

Stoppwörter und Hashing

Training eines Spam-Klassifikators

Klassifikation

Als Nächstes lernst du, wie du lineare Regressionsmodelle erstellst. Außerdem erfährst du, wie du deine Daten durch die Entwicklung neuer Prädiktoren erweitern kannst und wie du die relevantesten Prädiktoren auswählen kannst.

One-Hot-Codierung

Kodierung der Flugherkunft

Hemdengrößen kodieren

Regression

Flugdauer-Modell: Einfach Abstand

Interpretation der Koeffizienten

Flugdauer-Modell: Hinzufügen des Herkunftsflughafens

Koeffizienten interpretieren

Schaufeln & Technik

Abflugzeiten in Buckets einteilen

Flugdauer-Modell: Hinzufügen der Abfahrtszeit

Regulierung

Flugdauer-Modell: Mehr Funktionen!

Flugdauer-Modell: Regulierung!

Schließlich lernst du, wie du deine Modelle effizienter machen kannst. Du erfährst, wie du Pipelines nutzen kannst, um deinen Code übersichtlicher und leichter wartbar zu machen. Dann nutzt du die Kreuzvalidierung, um deine Modelle besser zu testen und gute Modellparameter auszuwählen. Schließlich beschäftigst du dich mit zwei Arten von Ensemble-Modellen.

Pipeline

Flugdauer-Modell: Stufen der Pipeline

Flugdauer-Modell: Pipeline Modell

SMS-Spam-Pipeline

Kreuzvalidierung

Kreuzvalidierung des einfachen Flugdauermodells

Cross-Validierung der Flugdauer-Modellpipeline

Gittersuche

Flüge optimieren lineare Regression

Das beste Flugdauermodell herausfinden

SMS-Spam optimiert

Wie viele Modelle für die Rastersuche?

Ensemble

Verspätete Flüge mit Gradient-Boosted Trees

Verspätete Flüge mit einem Zufallswald

Random Forest auswerten

Abschließende Gedanken

Ensembles & Pipelines

Flights

Spark ist ein leistungsstarkes, universell einsetzbares Werkzeug für die Arbeit mit Big Data. Spark kümmert sich transparent um die Verteilung von Rechenaufgaben in einem Cluster. Das bedeutet, dass die Abläufe schnell sind, aber es erlaubt dir auch, dich auf die Analyse zu konzentrieren, anstatt dich um technische Details zu kümmern. In diesem Kurs lernst du, wie du Daten in Spark einspeisen kannst, und beschäftigst dich dann mit den drei grundlegenden Algorithmen für maschinelles Lernen in Spark: Lineare Regression, logistische Regression/Klassifikatoren und das Erstellen von Pipelines. Auf dem Weg dorthin analysierst du einen großen Datensatz mit Flugverspätungen und Spam-Nachrichten. Mit diesem Hintergrundwissen bist du in der Lage, die Leistungsfähigkeit von Spark zu nutzen und es auf deine eigenen Machine Learning-Projekte anzuwenden!

<h2>Lerne Apache Spark für maschinelles Lernen zu nutzen</h2> 
Spark ist ein leistungsstarkes, universell einsetzbares Werkzeug für die Arbeit mit Big Data. Spark kümmert sich transparent um die Verteilung von Rechenaufgaben in einem Cluster. Das bedeutet, dass die Abläufe schnell sind, aber es erlaubt dir auch, dich auf die Analyse zu konzentrieren, anstatt dich um technische Details zu kümmern. In diesem Kurs lernst du, wie du Daten in Spark einspeisen kannst, und beschäftigst dich dann mit den drei grundlegenden Algorithmen für maschinelles Lernen in Spark: Lineare Regression, logistische Regression/Klassifikatoren und das Erstellen von Pipelines.
<br><br> 
<h2>Entscheidungsbäume erstellen und testen</h2> 
Das Erstellen eigener Entscheidungsbäume ist eine gute Möglichkeit, um Modelle des maschinellen Lernens kennenzulernen. Du verwendest einen Algorithmus namens "Rekursive Partitionierung", um die Daten in zwei Klassen aufzuteilen und einen Prädiktor innerhalb deiner Daten zu finden, der die informativste Aufteilung der beiden Klassen ergibt, und wiederholst diesen Vorgang mit weiteren Knoten. Du kannst deinen Entscheidungsbaum dann verwenden, um mit neuen Daten Vorhersagen zu treffen.
<br><br> 
<h2>Beherrsche logistische und lineare Regression in PySpark</h2> 
Logistische und lineare Regression sind wichtige maschinelle Lerntechniken, die von PySpark unterstützt werden. Du lernst, wie du logistische Regressionsmodelle erstellst und auswertest, bevor du zu linearen Regressionsmodellen übergehst, mit denen du deine Prädiktoren auf die relevantesten Optionen beschränken kannst.
<br><br> 
Am Ende des Kurses wirst du dein neu erworbenes Wissen über maschinelles Lernen dank der praktischen Aufgaben und Übungsdatensätze, die du während des Kurses findest, sicher anwenden können.

Supervised Learning with scikit-learn

Introduction to PySpark

Lernen Sie, mit Apache Spark Vorhersagen zu treffen: Entscheidungsbäume, Regressionen, Ensembles.

Maschinelles Lernen mit PySpark

Erstelle datenbasierte Vorhersagen mit Apache Spark und Entscheidungsbäumen, logistischer oder linearer Regression, Ensembles und Pipelines.

Big Data mit PySpark

Wissenschaftler für maschinelles Lernen in Python

Standort des Spark-Masters

Maschinelles Lernen mit PySpark

Interaktive Übung