Eine allgemeine Einführung in PySpark und verteiltes Rechnen. Dieser Abschnitt stellt PySpark, PySpark DataFrames und RDDs vor.

Einführung in PySpark

Eine SparkSession erstellen

Volkszählungsdaten laden

Einführung in PySpark DataFrames

Skalierbarkeit und Performance

Eine CSV einlesen und Aggregationen durchführen

Nach Unternehmen filtern

Mehr zu Spark DataFrames

Ableiten und filtern

Schema schreiben

Einführung in Apache Spark und PySpark

Eine Vertiefung zu DataFrames und komplexen Datentypen. Dieser Abschnitt erweitert, was DataFrames in PySpark bieten, und führt einige Spark-SQL-Konzepte ein.

Datenmanipulation mit DataFrames

Fehlende Daten mit fill und drop behandeln

Spaltenoperationen – Spalten erstellen und umbenennen

Fortgeschrittene DataFrame-Operationen

DataFrame-Kombinationen

Flüge mit ihren Ziel-Flughäfen verknüpfen

Du definierst es? Du verwendest es!

UDF definiert

Integer in PySpark-UDFs

Pandas-UDFs

PySpark in Python

Nutze Spark SQL und PySpark für skalierbare Datenverarbeitung: Kombiniere die Einfachheit von SQL mit der verteilten Rechenleistung von PySpark, um große Datensätze effizient zu bearbeiten.

Resiliente verteilte Datensätze in PySpark

RDDs erstellen

RDDs sammeln

Einführung in Spark SQL

Abfrage einer temporären View

SQL auf DataFrames ausführen

Analysen mit SQL auf DataFrames

PySpark-Aggregationen

Aggregationen in PySpark

Aggregieren in RDDs

Komplexe Aggregationen

PySpark in großem Maßstab

Broadcasting

Alles zusammenführen I

Alles zusammenführen II

Was haben wir gelernt?

Einführung in PySpark SQL

Transportation

Salaries

Adults

Dieser Kurs richtet sich an Data Engineers, Data Scientists und ML-Praktiker:innen, die mit großen Datensätzen in PySpark arbeiten möchten. Du lernst die Geschwindigkeit und Skalierbarkeit von Apache Spark kennen, erstellst Spark-Sessions, arbeitest mit RDDs und manipulierst DataFrames in praktischen Übungen. Der Kurs behandelt außerdem PySpark SQL: Du führst SQL-Abfragen aus, arbeitest mit Schemas und komplexen Datentypen und optimierst die Performance in verteilten Umgebungen. Am Ende verfügst du über grundlegende Fähigkeiten zur Verarbeitung und Analyse von Big Data und legst damit die Basis für fortgeschrittene Anwendungen wie Machine Learning und Big-Data-Analytik.


Dieser Kurs ist super für Dateningenieure, Datenwissenschaftler und Leute, die sich mit maschinellem Lernen beschäftigen und mit großen Datensätzen effizient arbeiten wollen. Egal, ob du von Tools wie Pandas umsteigst oder dich zum ersten Mal mit Big-Data-Technologien beschäftigst – dieser Kurs bietet dir eine solide Einführung in PySpark und die verteilte Datenverarbeitung.<br><br>
<h2>Warum Spark? Warum gerade jetzt?</h2>
Entdecke die Geschwindigkeit und Skalierbarkeit von Apache Spark, dem leistungsstarken Framework für die Verarbeitung von Big Data. Durch interaktive Lektionen und praktische Übungen wirst du sehen, wie die In-Memory-Verarbeitung von Spark ihm einen Vorteil gegenüber traditionellen Frameworks wie Hadoop verschafft. Du fängst damit an, Spark-Sessions einzurichten und dich mit Kernkomponenten wie Resilient Distributed Datasets (RDDs) und DataFrame zu beschäftigen. Lerne, wie du Datensätze ganz einfach filtern, gruppieren und zusammenführen kannst, während du an echten Beispielen arbeitest.<br><br>
<h2>Verbesser deine Python- und SQL-Kenntnisse für Big Data</h2>
Lerne, wie du PySpark SQL für Abfragen und die Verwaltung von Daten mit der bekannten SQL-Syntax nutzen kannst. Lerne Schemata, komplexe Datentypen und benutzerdefinierte Funktionen (UDFs) kennen und baue gleichzeitig deine Fähigkeiten im Bereich Caching und Leistungsoptimierung für verteilte Systeme aus.<br><br>
<h2>Leg die Grundlagen für Big Data</h2>
Am Ende dieses Kurses wirst du Big Data mit PySpark sicher handhaben, abfragen und verarbeiten können. Mit diesen grundlegenden Fähigkeiten bist du bereit, dich mit fortgeschrittenen Themen wie maschinellem Lernen und Big-Data-Analysen zu beschäftigen.

Introduction to SQL

Data Manipulation with pandas

Beherrsche PySpark für Big Data: Lerne, große Datensätze zu verarbeiten, abzufragen und zu optimieren!

Big Data mit PySpark

Wissenschaftler für maschinelles Lernen in Python

Professioneller Dateningenieur in Python

Fehlende Daten mit fill und drop behandeln

Einführung in PySpark

Anleitung zur Übung

Interaktive Übung