Este capítulo vai ensinar o básico de Dask e avaliação preguiçosa (lazy evaluation). Ao final, você será capaz de acelerar quase qualquer código Python usando processamento paralelo ou multithreading. Você vai aprender a diferença entre esses dois métodos de agendamento de tarefas e qual é melhor em cada situação.

Introdução ao Dask

Avaliação preguiçosa

Adiar funções

Grafos de tarefas e métodos de agendamento

Quais são os diferentes agendadores?

Plotando o grafo de tarefas

Construindo pipelines com delayed

Analisando músicas no Spotify

Quão dançáveis são as músicas hoje em dia?

Músicas mais populares

Avaliação preguiçosa e computação paralela

Aqui você vai aprender a analisar grandes conjuntos de dados estruturados usando Dask arrays e Dask DataFrames. Você verá como tudo o que sabe sobre NumPy e pandas pode ser aplicado facilmente a dados que são grandes demais para caber na memória.

Arrays do Dask

Tamanhos de blocos (chunksizes) em arrays Dask

Carregando e processando fotos

Um pipeline de processamento de imagens

Dask DataFrames

Criando Dask DataFrames a partir de CSVs

Ler Dask DataFrames a partir de Parquet

Batidas de verão

Arrays multidimensionais

Explorando arquivos HDF5

Arrays Dask a partir de conjuntos de dados HDF5

Arrays Dask a partir de conjuntos de dados Zarr

Xarray

Análise exploratória de dados com xarray

Temperaturas médias mensais

Calculando a tendência nas temperaturas europeias

Processamento paralelo de dados grandes e estruturados

Processe qualquer tipo de dado. Você vai aprender como Dask bags podem ser usadas para processar com eficiência dados de texto não estruturados, dados JSON semiestruturados e até áudios gravados.

Introdução a Dask bags

Criando um Dask bag

Criando um bag a partir de texto salvo

Operações com strings

Operações com Dask bag

Carregando dados JSON

Filtrando Dask bags

Encadeando operações

Convertendo dados não estruturados em um DataFrame

Reestruturando um dicionário

Convertendo para DataFrame

Usando qualquer tipo de dado em Dask bags

Carregando dados WAV

Construindo Dask bags personalizadas

Processando áudio não estruturado

Dask Bags para dados não estruturados

Aproveite o poder do Dask para treinar modelos de Machine Learning. Você vai aprender a treinar modelos de Machine Learning em big data usando o pacote Dask-ML e como dividir cálculos do Dask entre uma mistura de processos e threads para obter ainda mais velocidade de computação.

Usando processos e threads

Qual agendador será usado?

Clusters e clientes

Treinando modelos de Machine Learning em grandes conjuntos de dados

Usando Dask para treinar um modelo linear

Fazendo previsões preguiçosas

Pré-processando conjuntos de dados grandes

Transformando dados de treino de forma preguiçosa

Divisão train-test preguiçosa

Encerramento

Dask para Machine Learning e peças finais

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Ao trabalhar com big data, você vai se deparar com dois obstáculos comuns: uso excessivo de memória e tempos de execução longos. A biblioteca Dask pode reduzir o uso de memória ao carregar blocos de dados apenas quando necessário. Ela também pode diminuir o tempo de execução usando todos os seus núcleos de computação em paralelo. E o melhor: exige pouquíssimas mudanças no seu código Python existente. Neste curso, você vai usar Dask para analisar dados de músicas do Spotify, processar imagens de gestos em linguagem de sinais, calcular tendências em dados meteorológicos, analisar gravações de áudio e treinar modelos de Machine Learning com big data.

<h2>Use o processamento paralelo para acelerar seu código Python</h2>
Com este curso de 4 horas, você vai descobrir como o processamento paralelo com o Dask em Python pode tornar seus fluxos de trabalho mais rápidos. 
<br><br>
Ao trabalhar com big data, você vai se deparar com dois problemas comuns: usar muita memória e tempos de execução longos. A biblioteca Dask pode reduzir o uso de memória carregando blocos de dados apenas quando necessário. Ele pode reduzir o tempo de execução usando todos os núcleos de computação disponíveis em paralelo. E o melhor de tudo é que você quase não precisa mexer no seu código Python atual.
<br><br>
<h2>Analise grandes volumes de dados estruturados usando DataFrame do Dask</h2>
Neste curso, você vai usar o Dask para analisar dados de músicas do Spotify, processar imagens de gestos em linguagem de sinais, calcular tendências em dados meteorológicos, analisar gravações de áudio e treinar modelos de machine learning em big data.
<br><br>
Você vai começar aprendendo o básico do Dask, vendo como o processamento paralelo no Python pode acelerar quase qualquer código. Depois, você vai conhecer os DataFrame e matrizes do Dask e como usá-los para analisar grandes volumes de dados estruturados. 
<br><br>
<h2>Treine modelos de machine learning usando o Dask-ML</h2>
Conforme você avança pelos 51 exercícios deste curso, você vai aprender a processar qualquer tipo de dado, usando Dask bags para trabalhar com dados não estruturados e estruturados. Por fim, você vai aprender a usar o Dask no Python para treinar modelos de machine learning e melhorar suas velocidades de computação.

Data Manipulation with pandas

Python Toolbox

Aprenda a usar programação paralela em Python com Dask para otimizar fluxos e lidar com big data.

Programação Paralela com Dask em Python

Aprenda programação paralela em Python com Dask para melhorar fluxos de trabalho e lidar com big data com eficiência. 

Climate Informatics Researcher

Using any data in Dask bags

Complex mixed data formats

Creating a Dask bag

Loading custom data

List of delayed objects vs. Dask bag

Further analysis

Results

Using .wav files

Let's practice!

Dask Bags para dados não estruturados - Usando qualquer tipo de dado em Dask bags

Usando qualquer tipo de dado em Dask bags

Create Your Free Account