In diesem Kapitel lernst du die Grundlagen von Dask und Lazy Evaluation. Am Ende kannst du fast jeden Python-Code mit Parallelverarbeitung oder Multithreading beschleunigen. Du lernst den Unterschied zwischen diesen beiden Verfahren zur Aufgabenplanung und welches sich in welcher Situation besser eignet.

Einführung in Dask

Lazy Evaluation

Funktionen verzögern

Task-Graphen und Planungsmethoden

Welche Scheduler gibt es?

Den Task-Graphen plotten

Verzögerte Pipelines erstellen

Songs auf Spotify analysieren

Wie tanzbar sind Songs heutzutage?

Beliebteste Songs

 Lazy Evaluation und Parallel Computing

Hier lernst du, wie du große strukturierte Daten mit Dask Arrays und Dask DataFrames analysierst. Du erfährst, wie sich dein Wissen über NumPy und pandas mühelos auf Daten anwenden lässt, die nicht in den Speicher passen.

Dask-Arrays

Dask-Array-Chunksizes

Fotos laden und verarbeiten

Eine Bildverarbeitungspipeline

Dask DataFrames

Dask DataFrames aus CSVs erstellen

Dask DataFrames aus Parquet lesen

Sommergrooves

Mehrdimensionale Arrays

HDF5-Dateien erkunden

Dask-Arrays aus HDF5-Datensätzen

Dask-Arrays aus Zarr-Datensätzen

Xarray

Explorative Datenanalyse mit xarray

Monatliche Durchschnittstemperaturen

Trend der europäischen Temperaturen berechnen

Parallele Verarbeitung großer, strukturierter Daten

Verarbeite jede Art von Daten. Du lernst, wie Dask Bags unstrukturierte Textdaten, semi-strukturierte JSON-Daten und sogar aufgezeichnete Audiodaten effizient verarbeiten können.

Einführung in Dask Bags

Einen Dask Bag erstellen

Einen Bag aus gespeichertem Text erstellen

String-Operationen

Dask-Bag-Operationen

JSON-Daten laden

Dask Bags filtern

Operationen verketten

Unstrukturierte Daten in ein DataFrame umwandeln

Ein Dictionary umstrukturieren

In ein DataFrame umwandeln

Beliebige Daten in Dask-Bags verwenden

WAV-Daten laden

Eigene Dask Bags erstellen

Unstrukturierte Audiodaten verarbeiten

Dask Bags für unstrukturierte Daten

Nutze die Power von Dask, um Machine-Learning-Modelle zu trainieren. Du lernst, wie du mit dem Dask-ML-Paket Modelle auf Big Data trainierst und Dask-Berechnungen über eine Kombination aus Prozessen und Threads aufteilst, um noch schneller zu rechnen.

Prozesse und Threads verwenden

Welcher Scheduler wird verwendet?

Cluster und Clients

Machine-Learning-Modelle auf großen Datensätzen trainieren

Mit Dask ein lineares Modell trainieren

Träge Vorhersagen treffen

Große Datensätze vorverarbeiten

Trainingsdaten lazy transformieren

Lazy Train-Test-Split

Abschluss

Dask Machine Learning und letzte Bausteine

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Bei der Arbeit mit Big Data stößt du oft auf zwei Hürden: zu hoher Speicherverbrauch und lange Laufzeiten. Die Dask-Bibliothek kann den Speicherbedarf senken, indem sie Daten nur bei Bedarf in Teilstücken lädt. Außerdem verkürzt sie Laufzeiten, indem sie alle verfügbaren Rechenkerne parallel nutzt. Das Beste daran: Du musst deinen bestehenden Python-Code dafür kaum ändern. In diesem Kurs analysierst du mit Dask Spotify-Songdaten, verarbeitest Bilder von Gebärdensprach-Gesten, berechnest Trends in Wetterdaten, analysierst Audioaufnahmen und trainierst Machine-Learning-Modelle auf Big Data.

<h2>Nutze Parallelverarbeitung, um deinen Python-Code schneller zu machen</h2>
In diesem 4-stündigen Kurs lernst du, wie du mit paralleler Verarbeitung mit Dask in Python deine Arbeitsabläufe beschleunigen kannst. 
<br><br>
Wenn du mit Big Data arbeitest, wirst du auf zwei häufige Probleme stoßen: zu hoher Speicherverbrauch und lange Laufzeiten. Die Dask-Bibliothek kann deinen Speicherverbrauch senken, indem sie Datenblöcke nur bei Bedarf lädt. Es kann die Laufzeiten verkürzen, indem es alle verfügbaren Rechenkerne gleichzeitig nutzt. Das Beste daran ist, dass du kaum Änderungen an deinem bestehenden Python-Code vornehmen musst.
<br><br>
<h2>Analysiere große strukturierte Datenmengen mit Dask DataFrame</h2>
In diesem Kurs nutzt du Dask, um Spotify-Songdaten zu analysieren, Bilder von Gebärdensprachgesten zu verarbeiten, Trends in Wetterdaten zu berechnen, Audioaufnahmen zu analysieren und Machine-Learning-Modelle auf Basis von Big Data zu trainieren.
<br><br>
Du fängst damit an, die Grundlagen von Dask zu lernen und zu entdecken, wie die parallele Verarbeitung in Python fast jeden Code beschleunigen kann. Als Nächstes lernst du Dask DataFrames und Arrays kennen und wie du sie zur Analyse großer strukturierter Datenmengen einsetzen kannst. 
<br><br>
<h2>Mach dir Machine-Learning-Modelle mit Dask-ML</h2>
Während du die 51 Übungen dieses Kurses durcharbeitest, lernst du, wie du alle Arten von Daten verarbeiten kannst, indem du Dask Bags für die Arbeit mit unstrukturierten und strukturierten Daten nutzt. Zum Schluss lernst du, wie du Dask in Python nutzen kannst, um Machine-Learning-Modelle zu trainieren und deine Rechengeschwindigkeit zu verbessern.

Data Manipulation with pandas

Python Toolbox

Lernen Sie, mit Dask Python-Parallelprogrammierung zu nutzen, um Workflows zu verbessern und große Daten effizient zu verarbeiten.

Parallele Programmierung mit Dask in Python

Hier nutzt du parallele Programmierung mit Dask in Python, skalierst Workflows und verarbeitest effizient große Datenmengen. 

Climate Informatics Researcher

Converting unstructured data to a DataFrame

Nested JSON data

Restructuring a dictionary

Removing parts of the dictionary

Selecting parts of the dictionary

Converting to DataFrame

Let's practice!

Dask Bags für unstrukturierte Daten - Unstrukturierte Daten in ein DataFrame umwandeln

Unstrukturierte Daten in ein DataFrame umwandeln

Create Your Free Account