This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introdução ao Dask

Avaliação preguiçosa

Adiar funções

Grafos de tarefas e métodos de agendamento

Opções

Multi-threading

Processamento em paralelo

Quais são os diferentes agendadores?

Plotando o grafo de tarefas

Construindo pipelines com delayed

Analisando músicas no Spotify

Quão dançáveis são as músicas hoje em dia?

Músicas mais populares

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Dask arrays

Dask array chunksizes

Loading and processing photos

An image processing pipeline

Dask DataFrames

Creating Dask dataframes from CSVs

Read Dask DataFrames from Parquet

Summertime grooves

Multidimensional arrays

Exploring HDF5 files

Dask arrays from HDF5 datasets

Dask arrays from Zarr datasets

Xarray

Exploratory data analysis with xarray

Monthly mean temperatures

Calculating the trend in European temperatures

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Using processes and threads

Which scheduler will be used?

Clusters and clients

Training machine learning models on big datasets

Using Dask to train a linear model

Making lazy predictions

Preprocessing big datasets

Lazily transforming training data

Lazy train-test split

Wrap-up

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Ao trabalhar com big data, você vai se deparar com dois obstáculos comuns: uso excessivo de memória e tempos de execução longos. A biblioteca Dask pode reduzir o uso de memória ao carregar blocos de dados apenas quando necessário. Ela também pode diminuir o tempo de execução usando todos os seus núcleos de computação em paralelo. E o melhor: exige pouquíssimas mudanças no seu código Python existente. Neste curso, você vai usar Dask para analisar dados de músicas do Spotify, processar imagens de gestos em linguagem de sinais, calcular tendências em dados meteorológicos, analisar gravações de áudio e treinar modelos de Machine Learning com big data.

<h2>Use o processamento paralelo para acelerar seu código Python</h2>
Com este curso de 4 horas, você vai descobrir como o processamento paralelo com o Dask em Python pode tornar seus fluxos de trabalho mais rápidos. 
<br><br>
Ao trabalhar com big data, você vai se deparar com dois problemas comuns: usar muita memória e tempos de execução longos. A biblioteca Dask pode reduzir o uso de memória carregando blocos de dados apenas quando necessário. Ele pode reduzir o tempo de execução usando todos os núcleos de computação disponíveis em paralelo. E o melhor de tudo é que você quase não precisa mexer no seu código Python atual.
<br><br>
<h2>Analise grandes volumes de dados estruturados usando DataFrame do Dask</h2>
Neste curso, você vai usar o Dask para analisar dados de músicas do Spotify, processar imagens de gestos em linguagem de sinais, calcular tendências em dados meteorológicos, analisar gravações de áudio e treinar modelos de machine learning em big data.
<br><br>
Você vai começar aprendendo o básico do Dask, vendo como o processamento paralelo no Python pode acelerar quase qualquer código. Depois, você vai conhecer os DataFrame e matrizes do Dask e como usá-los para analisar grandes volumes de dados estruturados. 
<br><br>
<h2>Treine modelos de machine learning usando o Dask-ML</h2>
Conforme você avança pelos 51 exercícios deste curso, você vai aprender a processar qualquer tipo de dado, usando Dask bags para trabalhar com dados não estruturados e estruturados. Por fim, você vai aprender a usar o Dask no Python para treinar modelos de machine learning e melhorar suas velocidades de computação.

Data Manipulation with pandas

Python Toolbox

Aprenda a usar programação paralela em Python com Dask para otimizar fluxos e lidar com big data.

Programação Paralela com Dask em Python

Aprenda programação paralela em Python com Dask para melhorar fluxos de trabalho e lidar com big data com eficiência. 

Quais são os diferentes agendadores?

Programação Paralela com Dask em Python

exercicio interativo prático