Spark is a framework for working with Big Data. In this chapter you'll cover some background about Spark and Machine Learning. You'll then find out how to connect to Spark using Python and load CSV data.

Maschinelles Lernen & Spark

Merkmale von Spark

Komponenten in einem Spark Cluster

Connecting to Spark

Standort des Spark-Masters

Erstellen einer SparkSession

Daten laden

Laden von Flugdaten

SMS-Spam-Daten laden

Introduction

Now that you are familiar with getting data into Spark, you'll move onto building two types of classification model: Decision Trees and Logistic Regression. You'll also find out about a few approaches to data preparation.

Data Preparation

Removing columns and rows

Column manipulation

Categorical columns

Assembling columns

Decision Tree

Train/test split

Build a Decision Tree

Evaluate the Decision Tree

Logistic Regression

Build a Logistic Regression model

Evaluate the Logistic Regression model

Turning Text into Tables

Punctuation, numbers and tokens

Stopwords and hashing

Training a spam classifier

Classification

Next you'll learn to create Linear Regression models. You'll also find out how to augment your data by engineering new predictors as well as a robust approach to selecting only the most relevant predictors.

One-Hot Encoding

Encoding flight origin

Encoding shirt sizes

Regression

Flight duration model: Just distance

Interpreting the coefficients

Flight duration model: Adding origin airport

Interpreting coefficients

Bucketing & Engineering

Bucketing departure time

Flight duration model: Adding departure time

Regularization

Flight duration model: More features!

Flight duration model: Regularization!

Finally you'll learn how to make your models more efficient. You'll find out how to use pipelines to make your code clearer and easier to maintain. Then you'll use cross-validation to better test your models and select good model parameters. Finally you'll dabble in two types of ensemble model.

Pipeline

Flight duration model: Pipeline stages

Flight duration model: Pipeline model

SMS spam pipeline

Cross-Validation

Cross validating simple flight duration model

Cross validating flight duration model pipeline

Grid Search

Optimizing flights linear regression

Dissecting the best flight duration model

SMS spam optimised

How many models for grid search?

Ensemble

Delayed flights with Gradient-Boosted Trees

Delayed flights with a Random Forest

Evaluating Random Forest

Closing thoughts

Ensembles & Pipelines

Flights

Spark ist ein leistungsstarkes, universell einsetzbares Werkzeug für die Arbeit mit Big Data. Spark kümmert sich transparent um die Verteilung von Rechenaufgaben in einem Cluster. Das bedeutet, dass die Abläufe schnell sind, aber es erlaubt dir auch, dich auf die Analyse zu konzentrieren, anstatt dich um technische Details zu kümmern. In diesem Kurs lernst du, wie du Daten in Spark einspeisen kannst, und beschäftigst dich dann mit den drei grundlegenden Algorithmen für maschinelles Lernen in Spark: Lineare Regression, logistische Regression/Klassifikatoren und das Erstellen von Pipelines. Auf dem Weg dorthin analysierst du einen großen Datensatz mit Flugverspätungen und Spam-Nachrichten. Mit diesem Hintergrundwissen bist du in der Lage, die Leistungsfähigkeit von Spark zu nutzen und es auf deine eigenen Machine Learning-Projekte anzuwenden!

<h2>Lerne Apache Spark für maschinelles Lernen zu nutzen</h2> 
Spark ist ein leistungsstarkes, universell einsetzbares Werkzeug für die Arbeit mit Big Data. Spark kümmert sich transparent um die Verteilung von Rechenaufgaben in einem Cluster. Das bedeutet, dass die Abläufe schnell sind, aber es erlaubt dir auch, dich auf die Analyse zu konzentrieren, anstatt dich um technische Details zu kümmern. In diesem Kurs lernst du, wie du Daten in Spark einspeisen kannst, und beschäftigst dich dann mit den drei grundlegenden Algorithmen für maschinelles Lernen in Spark: Lineare Regression, logistische Regression/Klassifikatoren und das Erstellen von Pipelines.
<br><br> 
<h2>Entscheidungsbäume erstellen und testen</h2> 
Das Erstellen eigener Entscheidungsbäume ist eine gute Möglichkeit, um Modelle des maschinellen Lernens kennenzulernen. Du verwendest einen Algorithmus namens "Rekursive Partitionierung", um die Daten in zwei Klassen aufzuteilen und einen Prädiktor innerhalb deiner Daten zu finden, der die informativste Aufteilung der beiden Klassen ergibt, und wiederholst diesen Vorgang mit weiteren Knoten. Du kannst deinen Entscheidungsbaum dann verwenden, um mit neuen Daten Vorhersagen zu treffen.
<br><br> 
<h2>Beherrsche logistische und lineare Regression in PySpark</h2> 
Logistische und lineare Regression sind wichtige maschinelle Lerntechniken, die von PySpark unterstützt werden. Du lernst, wie du logistische Regressionsmodelle erstellst und auswertest, bevor du zu linearen Regressionsmodellen übergehst, mit denen du deine Prädiktoren auf die relevantesten Optionen beschränken kannst.
<br><br> 
Am Ende des Kurses wirst du dein neu erworbenes Wissen über maschinelles Lernen dank der praktischen Aufgaben und Übungsdatensätze, die du während des Kurses findest, sicher anwenden können.

Supervised Learning with scikit-learn

Introduction to PySpark

Lernen Sie, mit Apache Spark Vorhersagen zu treffen: Entscheidungsbäume, Regressionen, Ensembles.

Maschinelles Lernen mit PySpark

Erstelle datenbasierte Vorhersagen mit Apache Spark und Entscheidungsbäumen, logistischer oder linearer Regression, Ensembles und Pipelines.

Big Data mit PySpark

Wissenschaftler für maschinelles Lernen in Python

Komponenten in einem Spark Cluster

Interaktive praktische Übung