Eine Auffrischung der DataFrame-Grundlagen und warum Datenbereinigung so wichtig ist.

Einführung in das Data Cleaning mit Apache Spark

Wiederholung: Datenbereinigung

Ein Schema definieren

Unveränderlichkeit und Lazy Processing

Rückblick: Unveränderlichkeit

Lazy Processing verwenden

Parquet verstehen

Ein DataFrame im Parquet-Format speichern

SQL und Parquet

DataFrame-Grundlagen

Verschiedene Techniken, um Inhalte von DataFrames in Spark zu verändern.

DataFrame-Spaltenoperationen

Spalteninhalte mit Python filtern

Filter-Frage #1

Filter-Frage Nr. 2

DataFrame-Spalten ändern

Bedingte Spaltenoperationen mit DataFrames

Beispiel zu when()

When / Otherwise

Benutzerdefinierte Funktionen

User-Defined Functions verstehen

User-Defined Functions in Spark verwenden

Partitionierung und Lazy Processing

Ein ID-Feld hinzufügen

IDs mit unterschiedlichen Partitionen

Noch mehr ID-Tricks

DataFrames in der Praxis manipulieren

Optimiere Aufgaben der Datenbereinigung durch bessere Performance oder geringeren Ressourcenbedarf.

Caching

Ein DataFrame cachen

Ein DataFrame aus dem Cache entfernen

Importleistung verbessern

Optimierung der Dateigröße

Leistung beim Dateiimport

Clusterkonfigurationen

Spark-Konfigurationen auslesen

Spark-Konfigurationen schreiben

Leistungsverbesserungen

Normale Joins

Broadcasting bei Spark-Joins verwenden

Vergleich: Broadcast-Join vs. normaler Join

Leistung steigern

Lerne, wie du komplexe realweltliche Daten mit Spark verarbeitest und die Grundlagen von Pipelines.

Einführung in Datenpipelines

Schnelle Pipeline

Problem mit Pipeline-Daten

Techniken zur Datenverarbeitung

Kommentarzeilen entfernen

Ungültige Zeilen entfernen

In Spalten aufteilen

Weiteres Parsen

Datenvalidierung

Zeilen per Join validieren

Ungültige Zeilen untersuchen

Abschließende Analyse und Auslieferung

Hunde parsen

Anzahl pro Bild

Prozentualer Anteil Hundepixel

Glückwunsch – so geht’s weiter

Komplexe Verarbeitung und Daten-Pipelines

Dallas Council Votes

Dallas Council Voters

Flights - 2014

Flights - 2015

Flights - 2016

Flights - 2017

Mit Daten zu arbeiten ist knifflig – mit Millionen oder sogar Milliarden von Zeilen erst recht.
Hast du Datenverarbeitungscode bekommen, der auf einem Laptop mit ziemlich sauberen Daten geschrieben wurde?
Wahrscheinlich sollst du jetzt einen einfachen Datenprozess vom Prototyp in die Produktion überführen.
Vielleicht hast du bereits mit realen Datensätzen gearbeitet – mit fehlenden Feldern, merkwürdigen Formaten und um Größenordnungen mehr Daten. Selbst wenn das alles neu für dich ist, zeigt dir dieser Kurs, wie du Datenprozesse in Python mit Apache Spark vorbereitest.
Du lernst die wichtigsten Begriffe, Methoden und Best Practices kennen, um eine performante, wartbare und gut verständliche Datenverarbeitungsplattform aufzubauen.

Intermediate Python

Introduction to PySpark

Lernen Sie, wie Sie mit PySpark und DataFrames Daten in Python bereinigen und warum saubere Daten wichtig sind.

Datenbereinigung mit PySpark

Lerne, wie du Daten mit Apache Spark in Python bereinigen kannst.

Big Data mit PySpark

Data Engineering Consultant

Final analysis and delivery

Analysis calculations (UDF)

Analysis calculations (inline)

Let's practice!

Komplexe Verarbeitung und Daten-Pipelines - Abschließende Analyse und Auslieferung

Abschließende Analyse und Auslieferung

Create Your Free Account