This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introduction to Dask

Lazy evaluation

Delaying functions

Task graphs and scheduling methods

What are the different schedulers?

Plotting the task graph

Building delayed pipelines

Analyzing songs on Spotify

How danceable are songs these days?

Most popular songs

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Array Dask

Dimensioni dei chunk negli array Dask

Caricamento ed elaborazione delle foto

Una pipeline di elaborazione delle immagini

Dask DataFrame

Creare Dask DataFrame da file CSV

Leggere Dask DataFrame da Parquet

Groove estivi

Array multidimensionali

Esplorare i file HDF5

Array Dask da dataset HDF5

Array Dask da dataset Zarr

Xarray

Analisi esplorativa dei dati con xarray

Medie mensili delle temperature

Calcolare il trend delle temperature europee

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Using processes and threads

Which scheduler will be used?

Clusters and clients

Training machine learning models on big datasets

Using Dask to train a linear model

Making lazy predictions

Preprocessing big datasets

Lazily transforming training data

Lazy train-test split

Wrap-up

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Quando lavori con i big data, ti troverai di fronte a due ostacoli comuni: uso eccessivo di memoria e tempi di esecuzione lunghi. La libreria Dask può ridurre l’uso di memoria caricando porzioni di dati solo quando servono. Può ridurre i tempi di esecuzione sfruttando in parallelo tutti i core di calcolo disponibili. La cosa migliore è che richiede pochissime modifiche al tuo codice Python esistente. In questo corso userai Dask per analizzare dati di brani Spotify, elaborare immagini di gesti della lingua dei segni, calcolare tendenze nei dati meteorologici, analizzare registrazioni audio e addestrare modelli di Machine Learning su big data.

<h2>Usa l'elaborazione parallela per rendere più veloce il tuo codice Python</h2>
Con questo corso di 4 ore scoprirai come l'elaborazione parallela con Dask in Python può rendere più veloci i tuoi flussi di lavoro. 
<br><br>
Quando si lavora con i big data, ci si trova spesso di fronte a due problemi: usare troppa memoria e tempi di esecuzione lunghi. La libreria Dask può ridurre l'uso della memoria caricando blocchi di dati solo quando serve. Può ridurre i tempi di esecuzione usando tutti i core di elaborazione disponibili in parallelo. La cosa migliore è che non devi cambiare quasi niente del tuo codice Python attuale.
<br><br>
<h2>Analizza grandi quantità di dati strutturati usando Dask DataFrames</h2>
In questo corso userai Dask per analizzare i dati delle canzoni di Spotify, elaborare immagini dei gesti della lingua dei segni, calcolare le tendenze dei dati meteorologici, analizzare registrazioni audio e addestrare modelli di machine learning sui big data.
<br><br>
Inizierai imparando le basi di Dask, scoprendo come l'elaborazione parallela in Python può rendere più veloce quasi tutti i codici. Poi, scoprirai i DataFrame e gli array di Dask e come usarli per analizzare grandi quantità di dati strutturati. 
<br><br>
<h2>Addestra modelli di machine learning usando Dask-ML</h2>
Man mano che avanzi nei 51 esercizi di questo corso, imparerai a gestire qualsiasi tipo di dati, usando i bag Dask per lavorare con dati sia strutturati che non strutturati. Infine, imparerai come usare Dask in Python per addestrare modelli di machine learning e migliorare la velocità di elaborazione.

Data Manipulation with pandas

Python Toolbox

Impara a usare la programmazione parallela in Python con Dask per gestire grandi dati in modo efficiente.

Programmazione parallela con Dask in Python

Scopri come usare la programmazione parallela Python con Dask per migliorare i tuoi flussi di lavoro e gestire in modo efficiente i big data. 

Dimensioni dei chunk negli array Dask

Programmazione parallela con Dask in Python

Esercizio pratico interattivo