A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

DataFrame details

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame-Spaltenoperationen

Spalteninhalte mit Python filtern

Filter-Frage #1

Filter-Frage Nr. 2

DataFrame-Spalten ändern

Bedingte Spaltenoperationen mit DataFrames

Beispiel zu when()

When / Otherwise

Benutzerdefinierte Funktionen

User-Defined Functions verstehen

User-Defined Functions in Spark verwenden

Partitionierung und Lazy Processing

Ein ID-Feld hinzufügen

IDs mit unterschiedlichen Partitionen

Noch mehr ID-Tricks

Manipulating DataFrames in the real world

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Improving Performance

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Complex processing and data pipelines

Dallas Council Votes

Dallas Council Voters

Flights - 2014

Flights - 2015

Flights - 2016

Flights - 2017

Mit Daten zu arbeiten ist knifflig – mit Millionen oder sogar Milliarden von Zeilen erst recht.
Hast du Datenverarbeitungscode bekommen, der auf einem Laptop mit ziemlich sauberen Daten geschrieben wurde?
Wahrscheinlich sollst du jetzt einen einfachen Datenprozess vom Prototyp in die Produktion überführen.
Vielleicht hast du bereits mit realen Datensätzen gearbeitet – mit fehlenden Feldern, merkwürdigen Formaten und um Größenordnungen mehr Daten. Selbst wenn das alles neu für dich ist, zeigt dir dieser Kurs, wie du Datenprozesse in Python mit Apache Spark vorbereitest.
Du lernst die wichtigsten Begriffe, Methoden und Best Practices kennen, um eine performante, wartbare und gut verständliche Datenverarbeitungsplattform aufzubauen.

Intermediate Python

Introduction to PySpark

Lernen Sie, wie Sie mit PySpark und DataFrames Daten in Python bereinigen und warum saubere Daten wichtig sind.

Datenbereinigung mit PySpark

Lerne, wie du Daten mit Apache Spark in Python bereinigen kannst.

Big Data mit PySpark

User-Defined Functions verstehen

Datenbereinigung mit PySpark

Interaktive Übung