This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introduzione a Dask

Lazy evaluation

Ritardare le funzioni

Grafi di task e metodi di scheduling

Opzioni

Multi-threading

Elaborazione in parallelo

Quali sono i diversi scheduler?

Rappresentare il task graph

Costruire pipeline ritardate

Analizzare i brani su Spotify

Quanto sono ballabili le canzoni di oggi?

Brani più popolari

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Dask arrays

Dask array chunksizes

Loading and processing photos

An image processing pipeline

Dask DataFrames

Creating Dask dataframes from CSVs

Read Dask DataFrames from Parquet

Summertime grooves

Multidimensional arrays

Exploring HDF5 files

Dask arrays from HDF5 datasets

Dask arrays from Zarr datasets

Xarray

Exploratory data analysis with xarray

Monthly mean temperatures

Calculating the trend in European temperatures

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Using processes and threads

Which scheduler will be used?

Clusters and clients

Training machine learning models on big datasets

Using Dask to train a linear model

Making lazy predictions

Preprocessing big datasets

Lazily transforming training data

Lazy train-test split

Wrap-up

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Quando lavori con i big data, ti troverai di fronte a due ostacoli comuni: uso eccessivo di memoria e tempi di esecuzione lunghi. La libreria Dask può ridurre l’uso di memoria caricando porzioni di dati solo quando servono. Può ridurre i tempi di esecuzione sfruttando in parallelo tutti i core di calcolo disponibili. La cosa migliore è che richiede pochissime modifiche al tuo codice Python esistente. In questo corso userai Dask per analizzare dati di brani Spotify, elaborare immagini di gesti della lingua dei segni, calcolare tendenze nei dati meteorologici, analizzare registrazioni audio e addestrare modelli di Machine Learning su big data.

<h2>Usa l'elaborazione parallela per rendere più veloce il tuo codice Python</h2>
Con questo corso di 4 ore scoprirai come l'elaborazione parallela con Dask in Python può rendere più veloci i tuoi flussi di lavoro. 
<br><br>
Quando si lavora con i big data, ci si trova spesso di fronte a due problemi: usare troppa memoria e tempi di esecuzione lunghi. La libreria Dask può ridurre l'uso della memoria caricando blocchi di dati solo quando serve. Può ridurre i tempi di esecuzione usando tutti i core di elaborazione disponibili in parallelo. La cosa migliore è che non devi cambiare quasi niente del tuo codice Python attuale.
<br><br>
<h2>Analizza grandi quantità di dati strutturati usando Dask DataFrames</h2>
In questo corso userai Dask per analizzare i dati delle canzoni di Spotify, elaborare immagini dei gesti della lingua dei segni, calcolare le tendenze dei dati meteorologici, analizzare registrazioni audio e addestrare modelli di machine learning sui big data.
<br><br>
Inizierai imparando le basi di Dask, scoprendo come l'elaborazione parallela in Python può rendere più veloce quasi tutti i codici. Poi, scoprirai i DataFrame e gli array di Dask e come usarli per analizzare grandi quantità di dati strutturati. 
<br><br>
<h2>Addestra modelli di machine learning usando Dask-ML</h2>
Man mano che avanzi nei 51 esercizi di questo corso, imparerai a gestire qualsiasi tipo di dati, usando i bag Dask per lavorare con dati sia strutturati che non strutturati. Infine, imparerai come usare Dask in Python per addestrare modelli di machine learning e migliorare la velocità di elaborazione.

Data Manipulation with pandas

Python Toolbox

Impara a usare la programmazione parallela in Python con Dask per gestire grandi dati in modo efficiente.

Programmazione parallela con Dask in Python

Scopri come usare la programmazione parallela Python con Dask per migliorare i tuoi flussi di lavoro e gestire in modo efficiente i big data. 

Quali sono i diversi scheduler?

Programmazione parallela con Dask in Python

Esercizio pratico interattivo