Lerne dein Problem kennen, bevor du loslegst! Anschließend erfährst du, wie du deinen Datensatz statistisch und visuell untersuchst.

Wo fängst du an?

Wo fängt man an?

Version prüfen

Daten laden

Ein Problem definieren

Was sagen wir voraus?

Verifying Data Load

Datentypen prüfen

Daten visuell inspizieren / EDA

corr() verwenden

Visualisierungen verwenden: distplot

Visualisierungen nutzen: lmplot

Exploratory Data Analysis

Reale Daten sind selten sauber und bereit für die Analyse. In diesem Kapitel lernst du, unnötige Informationen zu entfernen, fehlende Werte zu behandeln und zusätzliche Daten in deine Analyse einzubringen.

Daten verwerfen

Eine Liste von Spalten entfernen

Datensätze mit Textfiltern entfernen

Numerische Felder bedingt filtern

Daten anpassen

Benutzerdefinierte prozentuale Skalierung

Scaler skalieren

Rechts-schief verteilte Daten korrigieren

Umgang mit fehlenden Daten

Fehlende Daten visualisieren

Fehlende Daten imputieren

Fehlenden-Prozentanteil berechnen

Mehr Daten bekommen

Ein riskanter Join

Spark-SQL-Join

Auf fehlerhafte Joins prüfen

Wrangling mit Spark-Funktionen

In diesem Kapitel lernst du, neue Features zu erstellen, aus denen dein Machine-Learning-Modell lernen kann. Wir sehen uns an, wie man sie durch Kombinieren von Feldern erzeugt, Werte aus unübersichtlichen Spalten extrahiert oder sie für bessere Ergebnisse encodiert.

Feature-Erzeugung

Unterschiede

Verhältnisse

Tiefere Features

Zeitbezogene Features

Zeitkomponenten

Joinen über Zeitkomponenten

Datumsarithmetik

Features extrahieren

Text in neue Features extrahieren

Splitten & Explodieren

Pivot & Join

Binarisierung, Binning & Encoding

Wochentag binarisieren

Bucketizing

One-Hot-Encoding

Feature Engineering

In diesem Kapitel lernen wir, welchen Modelltyp wir wählen. Dann wendest du unsere Daten auf das Modell an und bewertest es. Zum Schluss lernst du, die Ergebnisse zu interpretieren und das Modell für später zu speichern!

Den Algorithmus auswählen

Welches MLlib-Modul?

Zeitlich basierte Splits erstellen

Zeitmerkmale anpassen

Annahmen beim Feature Engineering für RFR

Feature Engineering für Random Forests

Spalten mit wenigen Beobachtungen entfernen

Fehlende und kategoriale Werte naiv behandeln

Ein Modell erstellen

Ein Regressionsmodell erstellen

Algorithmen bewerten und vergleichen

Metriken verstehen

Interpretieren, Speichern & Laden

Ergebnisse interpretieren

Modelle speichern und laden

Abschließende Gedanken

Ein Modell bauen

2017 St Paul MN Real Estate Dataset

Die echte Welt ist chaotisch – deine Aufgabe ist es, daraus schlau zu werden. Spielzeug-Datensätze wie MTCars und Iris sind das Ergebnis sorgfältiger Kuratierung und Bereinigung; trotzdem müssen die Daten transformiert werden, damit leistungsstarke Machine-Learning-Algorithmen Bedeutung extrahieren, vorhersagen, klassifizieren oder clustern können. In diesem Kurs geht es um die handfeste Arbeit, mit der Data Scientists 70–80 % ihrer Zeit verbringen: Data Wrangling und Feature Engineering. Da Datensätze immer größer werden, nutzen wir PySpark, um dieses Big-Data-Problem auf eine handliche Größe zu bringen!

Supervised Learning with scikit-learn

Introduction to PySpark

Lerne PySpark, um Big Data zu bearbeiten und zu analysieren: Datenaufbereitung, Prognosen, Klassifizierung.

Feature Engineering mit PySpark

Lerne die kniffligen Details, mit denen Data Scientists 70–80 % ihrer Zeit verbringen: Data Wrangling und Feature Engineering.

Big Data mit PySpark

Wo fängt man an?

Interaktive praktische Übung