En este capítulo aprenderás los fundamentos de Dask y la evaluación perezosa. Al terminar, podrás acelerar casi cualquier código de Python usando procesamiento en paralelo o multihilo. Verás la diferencia entre estos dos métodos de planificación de tareas y cuál conviene en cada situación.

Introducción a Dask

Evaluación perezosa

Retrasar funciones

Grafos de tareas y métodos de planificación

Opciones

Multi-threading

Procesamiento en paralelo

¿Cuáles son los distintos planificadores?

Representar el grafo de tareas

Crear canalizaciones con retraso

Analizando canciones en Spotify

¿Qué tan bailables son las canciones hoy en día?

Canciones más populares

 Evaluación perezosa y computación en paralelo

Aquí aprenderás a analizar grandes datos estructurados usando Dask arrays y Dask DataFrames. Verás cómo todo lo que ya sabes de NumPy y pandas puede aplicarse fácilmente a datos que son demasiado grandes para caber en memoria.

Arrays de Dask

Tamaños de bloque en arrays de Dask

Cargar y procesar fotos

Una canalización de procesamiento de imágenes

Dask DataFrames

Crear DataFrames de Dask desde CSV

Leer Dask DataFrames desde Parquet

Ritmos veraniegos

Arrays multidimensionales

Explorar archivos HDF5

Arrays de Dask a partir de conjuntos de datos HDF5

Arrays de Dask a partir de conjuntos de datos Zarr

Xarray

Análisis exploratorio de datos con xarray

Temperaturas medias mensuales

Calcular la tendencia de las temperaturas en Europa

Procesamiento en paralelo de datos grandes y estructurados

Procesa cualquier tipo de datos. Verás cómo los Dask bags pueden usarse para procesar de forma eficiente datos de texto no estructurados, datos JSON semiestructurados e incluso audio grabado.

Introducción a las bolsas de Dask

Crear un Dask bag

Crear un bag a partir de texto guardado

Operaciones con cadenas

Operaciones con Dask bags

Cargar datos JSON

Filtrar Dask bags

Encadenar operaciones

Convertir datos no estructurados en un DataFrame

Reestructurar un diccionario

Convirtiendo a DataFrame

Usar cualquier tipo de datos en Dask bags

Cargar datos WAV

Construir Dask bags personalizadas

Procesar audio no estructurado

Dask Bags para datos no estructurados

Aprovecha la potencia de Dask para entrenar modelos de Machine Learning. Aprenderás a entrenar modelos de Machine Learning con big data usando el paquete Dask-ML y a dividir cálculos de Dask entre una combinación de procesos e hilos para lograr aún más velocidad de cómputo.

Uso de procesos e hilos

¿Qué planificador se utilizará?

Clusters y clientes

Entrenar modelos de Machine Learning con grandes conjuntos de datos

Usar Dask para entrenar un modelo lineal

Hacer predicciones perezosas

Preprocesamiento de conjuntos de datos grandes

Transformar los datos de entrenamiento de forma perezosa

División train-test perezosa

Resumen

Machine Learning con Dask y piezas finales

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Al trabajar con big data, te encontrarás con dos obstáculos habituales: usar demasiada memoria y tiempos de ejecución largos. La biblioteca Dask puede reducir el uso de memoria cargando fragmentos de datos solo cuando hacen falta. También puede acortar los tiempos de ejecución utilizando en paralelo todos los núcleos de cómputo disponibles. Y lo mejor: requiere muy pocos cambios en tu código de Python. En este curso, usarás Dask para analizar datos de canciones de Spotify, procesar imágenes de gestos en lengua de signos, calcular tendencias en datos meteorológicos, analizar grabaciones de audio y entrenar modelos de Machine Learning con big data.

<h2>Utiliza el procesamiento paralelo para acelerar tu código Python</h2>
Con este curso de 4 horas, descubrirás cómo el procesamiento paralelo con Dask en Python puede acelerar tus flujos de trabajo. 
<br><br>
Al trabajar con big data, te encontrarás con dos obstáculos comunes: el uso excesivo de memoria y los largos tiempos de ejecución. La biblioteca Dask puede reducir el uso de memoria cargando fragmentos de datos solo cuando sea necesario. Puede reducir los tiempos de ejecución utilizando todos los núcleos informáticos disponibles en paralelo. Lo mejor de todo es que requiere muy pocos cambios en tu código Python actual.
<br><br>
<h2>Analizar grandes volúmenes de datos estructurados utilizando Dask DataFrame</h2>
En este curso, utilizarás Dask para analizar datos de canciones de Spotify, procesar imágenes de gestos en lenguaje de signos, calcular tendencias en datos meteorológicos, analizar grabaciones de audio y entrenar modelos de machine learning con big data.
<br><br>
Comenzarás aprendiendo los conceptos básicos de Dask y descubriendo cómo el procesamiento paralelo en Python puede acelerar casi cualquier código. A continuación, explorarás Dask DataFrame y arreglos, y cómo utilizarlos para analizar grandes volúmenes de datos estructurados. 
<br><br>
<h2>Entrena modelos de machine learning con Dask-ML.</h2>
A medida que avances en los 51 ejercicios de este curso, aprenderás a procesar cualquier tipo de datos, utilizando Dask bags para trabajar con datos estructurados y no estructurados. Por último, aprenderás a utilizar Dask en Python para entrenar modelos de machine learning y mejorar tu velocidad de cálculo.

Data Manipulation with pandas

Python Toolbox

Aprende a usar la programación paralela en Python con Dask para mejorar tus flujos y manejar grandes datos.

Programación paralela con Dask en Python

Aprende a usar la programación paralela de Python con Dask para mejorar tus flujos de trabajo y gestionar de forma eficiente los macrodatos. 

Climate Informatics Researcher

Task graphs and scheduling methods

Visualizing a task graph

Overlapping task graph

Multi-threading vs. parallel processing

The GIL

Example timings - GIL

Functions which release the GIL

Example timings - Loading data

Summary

Let's practice!

 Evaluación perezosa y computación en paralelo - Grafos de tareas y métodos de planificación

Grafos de tareas y métodos de planificación

Create Your Free Account