Questo capitolo ti insegnerà le basi di Dask e della valutazione pigra. Alla fine del capitolo, saprai velocizzare quasi qualsiasi codice Python usando l’elaborazione parallela o il multi-threading. Imparerai la differenza tra questi due metodi di pianificazione dei task e quale sia più adatto in base alle circostanze.

Introduzione a Dask

Lazy evaluation

Ritardare le funzioni

Grafi di task e metodi di scheduling

Quali sono i diversi scheduler?

Rappresentare il task graph

Costruire pipeline ritardate

Analizzare i brani su Spotify

Quanto sono ballabili le canzoni di oggi?

Brani più popolari

 Valutazione pigra e calcolo parallelo

Qui imparerai ad analizzare grandi dati strutturati usando Dask array e Dask DataFrame. Scoprirai come tutto ciò che conosci di NumPy e pandas può essere applicato facilmente a dati troppo grandi per entrare in memoria.

Array Dask

Dimensioni dei chunk negli array Dask

Caricamento ed elaborazione delle foto

Una pipeline di elaborazione delle immagini

Dask DataFrame

Creare Dask DataFrame da file CSV

Leggere Dask DataFrame da Parquet

Groove estivi

Array multidimensionali

Esplorare i file HDF5

Array Dask da dataset HDF5

Array Dask da dataset Zarr

Xarray

Analisi esplorativa dei dati con xarray

Medie mensili delle temperature

Calcolare il trend delle temperature europee

Elaborazione parallela di grandi dati strutturati

Elabora qualsiasi tipo di dato. Imparerai come i Dask bag possano essere usati per elaborare in modo efficiente dati testuali non strutturati, dati JSON semi-strutturati e persino audio registrato.

Introduzione ai Dask bag

Creare un Dask bag

Creare un bag da testo salvato

Operazioni sulle stringhe

Operazioni sui Dask bag

Caricare dati JSON

Filtrare i Dask bag

Concatenare operazioni

Convertire dati non strutturati in un DataFrame

Ristrutturare un dizionario

Conversione in DataFrame

Usare qualsiasi tipo di dato nei Dask bag

Caricare dati wav

Creare Dask bag personalizzate

Elaborare audio non strutturato

Dask Bag per dati non strutturati

Sfrutta la potenza di Dask per addestrare modelli di Machine Learning. Imparerai come addestrare modelli di Machine Learning su big data usando il pacchetto Dask-ML e come distribuire i calcoli Dask tra processi e thread per ottenere una velocità di calcolo ancora maggiore.

Uso di processi e thread

Quale scheduler verrà usato?

Cluster e client

Addestrare modelli di Machine Learning su grandi insiemi di dati

Usare Dask per addestrare un modello lineare

Fare previsioni lazy

Pre-elaborazione di grandi insiemi di dati

Trasformare pigramente i dati di training

Suddivisione train-test pigra

Riepilogo

Dask per Machine Learning e ultime componenti

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Quando lavori con i big data, ti troverai di fronte a due ostacoli comuni: uso eccessivo di memoria e tempi di esecuzione lunghi. La libreria Dask può ridurre l’uso di memoria caricando porzioni di dati solo quando servono. Può ridurre i tempi di esecuzione sfruttando in parallelo tutti i core di calcolo disponibili. La cosa migliore è che richiede pochissime modifiche al tuo codice Python esistente. In questo corso userai Dask per analizzare dati di brani Spotify, elaborare immagini di gesti della lingua dei segni, calcolare tendenze nei dati meteorologici, analizzare registrazioni audio e addestrare modelli di Machine Learning su big data.

<h2>Usa l'elaborazione parallela per rendere più veloce il tuo codice Python</h2>
Con questo corso di 4 ore scoprirai come l'elaborazione parallela con Dask in Python può rendere più veloci i tuoi flussi di lavoro. 
<br><br>
Quando si lavora con i big data, ci si trova spesso di fronte a due problemi: usare troppa memoria e tempi di esecuzione lunghi. La libreria Dask può ridurre l'uso della memoria caricando blocchi di dati solo quando serve. Può ridurre i tempi di esecuzione usando tutti i core di elaborazione disponibili in parallelo. La cosa migliore è che non devi cambiare quasi niente del tuo codice Python attuale.
<br><br>
<h2>Analizza grandi quantità di dati strutturati usando Dask DataFrames</h2>
In questo corso userai Dask per analizzare i dati delle canzoni di Spotify, elaborare immagini dei gesti della lingua dei segni, calcolare le tendenze dei dati meteorologici, analizzare registrazioni audio e addestrare modelli di machine learning sui big data.
<br><br>
Inizierai imparando le basi di Dask, scoprendo come l'elaborazione parallela in Python può rendere più veloce quasi tutti i codici. Poi, scoprirai i DataFrame e gli array di Dask e come usarli per analizzare grandi quantità di dati strutturati. 
<br><br>
<h2>Addestra modelli di machine learning usando Dask-ML</h2>
Man mano che avanzi nei 51 esercizi di questo corso, imparerai a gestire qualsiasi tipo di dati, usando i bag Dask per lavorare con dati sia strutturati che non strutturati. Infine, imparerai come usare Dask in Python per addestrare modelli di machine learning e migliorare la velocità di elaborazione.

Data Manipulation with pandas

Python Toolbox

Impara a usare la programmazione parallela in Python con Dask per gestire grandi dati in modo efficiente.

Programmazione parallela con Dask in Python

Scopri come usare la programmazione parallela Python con Dask per migliorare i tuoi flussi di lavoro e gestire in modo efficiente i big data. 

Riepilogo

Create Your Free Account