This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introduction to Dask

Lazy evaluation

Delaying functions

Task graphs and scheduling methods

What are the different schedulers?

Plotting the task graph

Building delayed pipelines

Analyzing songs on Spotify

How danceable are songs these days?

Most popular songs

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Dask-Arrays

Dask-Array-Chunksizes

Fotos laden und verarbeiten

Eine Bildverarbeitungspipeline

Dask DataFrames

Dask DataFrames aus CSVs erstellen

Dask DataFrames aus Parquet lesen

Sommergrooves

Mehrdimensionale Arrays

HDF5-Dateien erkunden

Dask-Arrays aus HDF5-Datensätzen

Dask-Arrays aus Zarr-Datensätzen

Xarray

Explorative Datenanalyse mit xarray

Monatliche Durchschnittstemperaturen

Trend der europäischen Temperaturen berechnen

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Using processes and threads

Which scheduler will be used?

Clusters and clients

Training machine learning models on big datasets

Using Dask to train a linear model

Making lazy predictions

Preprocessing big datasets

Lazily transforming training data

Lazy train-test split

Wrap-up

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Bei der Arbeit mit Big Data stößt du oft auf zwei Hürden: zu hoher Speicherverbrauch und lange Laufzeiten. Die Dask-Bibliothek kann den Speicherbedarf senken, indem sie Daten nur bei Bedarf in Teilstücken lädt. Außerdem verkürzt sie Laufzeiten, indem sie alle verfügbaren Rechenkerne parallel nutzt. Das Beste daran: Du musst deinen bestehenden Python-Code dafür kaum ändern. In diesem Kurs analysierst du mit Dask Spotify-Songdaten, verarbeitest Bilder von Gebärdensprach-Gesten, berechnest Trends in Wetterdaten, analysierst Audioaufnahmen und trainierst Machine-Learning-Modelle auf Big Data.

<h2>Nutze Parallelverarbeitung, um deinen Python-Code schneller zu machen</h2>
In diesem 4-stündigen Kurs lernst du, wie du mit paralleler Verarbeitung mit Dask in Python deine Arbeitsabläufe beschleunigen kannst. 
<br><br>
Wenn du mit Big Data arbeitest, wirst du auf zwei häufige Probleme stoßen: zu hoher Speicherverbrauch und lange Laufzeiten. Die Dask-Bibliothek kann deinen Speicherverbrauch senken, indem sie Datenblöcke nur bei Bedarf lädt. Es kann die Laufzeiten verkürzen, indem es alle verfügbaren Rechenkerne gleichzeitig nutzt. Das Beste daran ist, dass du kaum Änderungen an deinem bestehenden Python-Code vornehmen musst.
<br><br>
<h2>Analysiere große strukturierte Datenmengen mit Dask DataFrame</h2>
In diesem Kurs nutzt du Dask, um Spotify-Songdaten zu analysieren, Bilder von Gebärdensprachgesten zu verarbeiten, Trends in Wetterdaten zu berechnen, Audioaufnahmen zu analysieren und Machine-Learning-Modelle auf Basis von Big Data zu trainieren.
<br><br>
Du fängst damit an, die Grundlagen von Dask zu lernen und zu entdecken, wie die parallele Verarbeitung in Python fast jeden Code beschleunigen kann. Als Nächstes lernst du Dask DataFrames und Arrays kennen und wie du sie zur Analyse großer strukturierter Datenmengen einsetzen kannst. 
<br><br>
<h2>Mach dir Machine-Learning-Modelle mit Dask-ML</h2>
Während du die 51 Übungen dieses Kurses durcharbeitest, lernst du, wie du alle Arten von Daten verarbeiten kannst, indem du Dask Bags für die Arbeit mit unstrukturierten und strukturierten Daten nutzt. Zum Schluss lernst du, wie du Dask in Python nutzen kannst, um Machine-Learning-Modelle zu trainieren und deine Rechengeschwindigkeit zu verbessern.

Data Manipulation with pandas

Python Toolbox

Lernen Sie, mit Dask Python-Parallelprogrammierung zu nutzen, um Workflows zu verbessern und große Daten effizient zu verarbeiten.

Parallele Programmierung mit Dask in Python

Hier nutzt du parallele Programmierung mit Dask in Python, skalierst Workflows und verarbeitest effizient große Datenmengen. 

HDF5-Dateien erkunden

Interaktive praktische Übung