This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introduction to Dask

Lazy evaluation

Delaying functions

Task graphs and scheduling methods

What are the different schedulers?

Plotting the task graph

Building delayed pipelines

Analyzing songs on Spotify

How danceable are songs these days?

Most popular songs

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Arrays do Dask

Tamanhos de blocos (chunksizes) em arrays Dask

Carregando e processando fotos

Um pipeline de processamento de imagens

Dask DataFrames

Criando Dask DataFrames a partir de CSVs

Ler Dask DataFrames a partir de Parquet

Batidas de verão

Arrays multidimensionais

Explorando arquivos HDF5

Arrays Dask a partir de conjuntos de dados HDF5

Arrays Dask a partir de conjuntos de dados Zarr

Xarray

Análise exploratória de dados com xarray

Temperaturas médias mensais

Calculando a tendência nas temperaturas europeias

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Using processes and threads

Which scheduler will be used?

Clusters and clients

Training machine learning models on big datasets

Using Dask to train a linear model

Making lazy predictions

Preprocessing big datasets

Lazily transforming training data

Lazy train-test split

Wrap-up

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Ao trabalhar com big data, você vai se deparar com dois obstáculos comuns: uso excessivo de memória e tempos de execução longos. A biblioteca Dask pode reduzir o uso de memória ao carregar blocos de dados apenas quando necessário. Ela também pode diminuir o tempo de execução usando todos os seus núcleos de computação em paralelo. E o melhor: exige pouquíssimas mudanças no seu código Python existente. Neste curso, você vai usar Dask para analisar dados de músicas do Spotify, processar imagens de gestos em linguagem de sinais, calcular tendências em dados meteorológicos, analisar gravações de áudio e treinar modelos de Machine Learning com big data.

<h2>Use o processamento paralelo para acelerar seu código Python</h2>
Com este curso de 4 horas, você vai descobrir como o processamento paralelo com o Dask em Python pode tornar seus fluxos de trabalho mais rápidos. 
<br><br>
Ao trabalhar com big data, você vai se deparar com dois problemas comuns: usar muita memória e tempos de execução longos. A biblioteca Dask pode reduzir o uso de memória carregando blocos de dados apenas quando necessário. Ele pode reduzir o tempo de execução usando todos os núcleos de computação disponíveis em paralelo. E o melhor de tudo é que você quase não precisa mexer no seu código Python atual.
<br><br>
<h2>Analise grandes volumes de dados estruturados usando DataFrame do Dask</h2>
Neste curso, você vai usar o Dask para analisar dados de músicas do Spotify, processar imagens de gestos em linguagem de sinais, calcular tendências em dados meteorológicos, analisar gravações de áudio e treinar modelos de machine learning em big data.
<br><br>
Você vai começar aprendendo o básico do Dask, vendo como o processamento paralelo no Python pode acelerar quase qualquer código. Depois, você vai conhecer os DataFrame e matrizes do Dask e como usá-los para analisar grandes volumes de dados estruturados. 
<br><br>
<h2>Treine modelos de machine learning usando o Dask-ML</h2>
Conforme você avança pelos 51 exercícios deste curso, você vai aprender a processar qualquer tipo de dado, usando Dask bags para trabalhar com dados não estruturados e estruturados. Por fim, você vai aprender a usar o Dask no Python para treinar modelos de machine learning e melhorar suas velocidades de computação.

Data Manipulation with pandas

Python Toolbox

Aprenda a usar programação paralela em Python com Dask para otimizar fluxos e lidar com big data.

Programação Paralela com Dask em Python

Aprenda programação paralela em Python com Dask para melhorar fluxos de trabalho e lidar com big data com eficiência. 

Tamanhos de blocos (chunksizes) em arrays Dask

Programação Paralela com Dask em Python

exercicio interativo prático