This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introduction to Dask

Lazy evaluation

Delaying functions

Task graphs and scheduling methods

What are the different schedulers?

Plotting the task graph

Building delayed pipelines

Analyzing songs on Spotify

How danceable are songs these days?

Most popular songs

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Array Dask

Ukuran chunk pada Dask array

Memuat dan memproses foto

Sebuah pipeline pemrosesan gambar

Dask DataFrame

Membuat Dask DataFrame dari CSV

Membaca Dask DataFrame dari Parquet

Alunan musim panas

Array multidimensi

Menjelajahi berkas HDF5

Array Dask dari himpunan data HDF5

Array Dask dari himpunan data Zarr

Xarray

Analisis data eksploratif dengan xarray

Rata-rata suhu bulanan

Menghitung tren suhu di Eropa

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Using processes and threads

Which scheduler will be used?

Clusters and clients

Training machine learning models on big datasets

Using Dask to train a linear model

Making lazy predictions

Preprocessing big datasets

Lazily transforming training data

Lazy train-test split

Wrap-up

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Saat bekerja dengan big data, Anda akan menghadapi dua hambatan umum: penggunaan memori yang berlebihan dan waktu eksekusi yang lama. Pustaka Dask dapat menurunkan penggunaan memori dengan memuat potongan data hanya saat diperlukan. Dask juga dapat mempercepat waktu eksekusi dengan menggunakan semua inti komputasi yang tersedia secara paralel. Yang terbaik, Anda hanya perlu sedikit perubahan pada kode Python yang sudah ada. Dalam kursus ini, Anda akan menggunakan Dask untuk menganalisis data lagu Spotify, memproses gambar gerakan bahasa isyarat, menghitung tren data cuaca, menganalisis rekaman audio, dan melatih model Machine Learning pada big data.

<h2>Gunakan Pemrosesan Paralel untuk Mempercepat Kode Python Anda</h2>
Dengan kursus 4 jam ini, Anda akan mempelajari bagaimana pemrosesan paralel menggunakan Dask dalam Python dapat mempercepat alur kerja Anda. 
<br><br>
Saat bekerja dengan big data, Anda akan menghadapi dua hambatan umum: penggunaan memori yang berlebihan dan waktu eksekusi yang lama. Perpustakaan Dask dapat mengurangi penggunaan memori Anda dengan memuat potongan data hanya saat diperlukan. Hal ini dapat mengurangi waktu eksekusi dengan menggunakan semua inti pemrosesan yang tersedia secara paralel. Yang terbaik dari semuanya, hal ini hanya memerlukan sedikit perubahan pada kode Python yang sudah ada.
<br><br>
<h2>Analisis Data Terstruktur Besar Menggunakan Dask DataFrames</h2>
Dalam kursus ini, Anda akan menggunakan Dask untuk menganalisis data lagu Spotify, memproses gambar gerakan bahasa isyarat, menghitung tren dalam data cuaca, menganalisis rekaman audio, dan melatih model pembelajaran mesin pada data besar.
<br><br>
Anda akan memulai dengan mempelajari dasar-dasar Dask, menjelajahi bagaimana pemrosesan paralel dalam Python dapat mempercepat hampir semua kode. Selanjutnya, Anda akan mempelajari Dask DataFrames dan array, serta cara menggunakannya untuk menganalisis data terstruktur berskala besar. 
<br><br>
<h2>Latih model pembelajaran mesin menggunakan Dask-ML</h2>
Seiring Anda menyelesaikan 51 latihan dalam kursus ini, Anda akan belajar cara memproses berbagai jenis data, menggunakan Dask bags untuk bekerja dengan data tidak terstruktur dan terstruktur. Akhirnya, Anda akan belajar cara menggunakan Dask dalam Python untuk melatih model pembelajaran mesin dan meningkatkan kecepatan komputasi Anda.

Data Manipulation with pandas

Python Toolbox

Pelajari pemrograman paralel Python dengan Dask untuk meningkatkan alur kerja dan mengelola data besar.

Pemrograman Paralel dengan Dask di Python

Pelajari cara menggunakan pemrograman paralel Python dengan Dask untuk meningkatkan efisiensi alur kerja Anda dan mengelola data besar dengan lebih efisien. 

Ukuran chunk pada Dask array

Pemrograman Paralel dengan Dask di Python

Latihan interaktif praktis