This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introduction to Dask

Lazy evaluation

Delaying functions

Task graphs and scheduling methods

What are the different schedulers?

Plotting the task graph

Building delayed pipelines

Analyzing songs on Spotify

How danceable are songs these days?

Most popular songs

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Dask-arrays

Dask array-chunksizes

Foto's laden en verwerken

Een beeldverwerkingspipeline

Dask DataFrames

Dask DataFrames maken uit CSV's

Dask DataFrames lezen uit Parquet

Zomerse grooves

Meerdimensionale arrays

HDF5-bestanden verkennen

Dask-arrays uit HDF5-datasets

Dask-arrays uit Zarr-gegevenssets

Xarray

Verkennende data-analyse met xarray

Maandgemiddelde temperaturen

De trend in Europese temperaturen berekenen

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Using processes and threads

Which scheduler will be used?

Clusters and clients

Training machine learning models on big datasets

Using Dask to train a linear model

Making lazy predictions

Preprocessing big datasets

Lazily transforming training data

Lazy train-test split

Wrap-up

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Als je met big data werkt, loop je vaak tegen twee problemen aan: te veel geheugengebruik en lange runtimes. Met de Dask-bibliotheek verlaag je het geheugengebruik door alleen de benodigde data in stukken te laden. Je verkort runtimes door alle beschikbare rekenkernen parallel te gebruiken. Het mooiste is dat je maar heel weinig aanpassingen aan je bestaande Python-code hoeft te doen. In deze cursus gebruik je Dask om Spotify-songdata te analyseren, afbeeldingen van gebaren in gebarentaal te verwerken, trends in weerdata te berekenen, geluidsopnames te analyseren en Machine Learning-modellen op big data te trainen.

<h2>Gebruik parallelle verwerking om je Python-code sneller te maken</h2>
In deze cursus van 4 uur leer je hoe je met parallelle verwerking met Dask in Python je werk sneller kunt doen. 
<br><br>
Als je met big data werkt, kom je vaak twee dingen tegen: je gebruikt te veel geheugen en het duurt lang voordat dingen klaar zijn. De Dask-bibliotheek kan je geheugengebruik verminderen door stukjes data alleen te laden als dat echt nodig is. Het kan de looptijd verkorten door al je beschikbare computerkernen tegelijk te gebruiken. Het beste van alles is dat je maar weinig aan je bestaande Python-code hoeft te veranderen.
<br><br>
<h2>Grote gestructureerde gegevens analyseren met Dask DataFrames</h2>
In deze cursus gebruik je Dask om Spotify-songgegevens te analyseren, afbeeldingen van gebarentaal te verwerken, trends in weergegevens te berekenen, audio-opnames te analyseren en machine learning-modellen te trainen op basis van big data.
<br><br>
Je begint met de basis van Dask en ontdekt hoe je met parallelle verwerking in Python bijna elke code sneller kunt maken. Vervolgens ga je kijken naar Dask DataFrames en arrays en hoe je die kunt gebruiken om grote gestructureerde gegevens te analyseren. 
<br><br>
<h2>Train machine learning-modellen met Dask-ML</h2>
Terwijl je de 51 oefeningen in deze cursus doorloopt, leer je hoe je allerlei soorten data kunt verwerken met behulp van Dask bags om met ongestructureerde en gestructureerde data te werken. Tot slot leer je hoe je Dask in Python kunt gebruiken om machine learning-modellen te trainen en je computersnelheid te verbeteren.

Data Manipulation with pandas

Python Toolbox

Leer Python parallel programmeren met Dask om workflows te verbeteren en grote data efficiënt te beheren.

Parallel programmeren met Dask in Python

Leer hoe je Python parallel programming met Dask kunt gebruiken om je werkprocessen te verbeteren en big data efficiënt te verwerken. 

Dask array-chunksizes

Parallel programmeren met Dask in Python

Praktische interactieve oefening