This chapter will teach you the basics of Dask and lazy evaluation. At the end of this chapter, you'll be able to speed up almost any Python code by using parallel processing or multi-threading. You'll learn the difference between these two task scheduling methods and which one is better under which circumstances.

Introduction to Dask

Lazy evaluation

Delaying functions

Task graphs and scheduling methods

What are the different schedulers?

Plotting the task graph

Building delayed pipelines

Analyzing songs on Spotify

How danceable are songs these days?

Most popular songs

 Lazy Evaluation and Parallel Computing

Here you’ll learn how to analyze big structured data using Dask arrays and Dask DataFrames. You'll learn how everything you know about NumPy and pandas can easily be applied to data that is too large to fit in memory.

Dask arrays

Dask array chunksizes

Loading and processing photos

An image processing pipeline

Dask DataFrames

Creating Dask dataframes from CSVs

Read Dask DataFrames from Parquet

Summertime grooves

Multidimensional arrays

Exploring HDF5 files

Dask arrays from HDF5 datasets

Dask arrays from Zarr datasets

Xarray

Exploratory data analysis with xarray

Monthly mean temperatures

Calculating the trend in European temperatures

Parallel Processing of Big, Structured Data

Process any kind of data. You'll learn how Dask bags can be used to efficiently process unstructured text data, semi-structured JSON data, and even recorded audio.

Introduction to Dask bags

Creating a Dask bag

Creating a bag from saved text

String operations

Dask bag operations

Loading JSON data

Filtering Dask bags

Chaining operations

Converting unstructured data to a DataFrame

Restructuring a dictionary

Converting to DataFrame

Using any data in Dask bags

Loading wav data

Constructing custom Dask bags

Processing unstructured audio

Dask Bags for Unstructured Data

Harness the power of Dask to train machine learning models. You'll learn how to train machine learning models on big data using the Dask-ML package, and how to split Dask calculations across a mixture of processes and threads for even greater computing speed.

Menggunakan proses dan thread

Scheduler mana yang akan digunakan?

Klaster dan klien

Melatih model Machine Learning pada himpunan data berukuran besar

Menggunakan Dask untuk melatih model linear

Membuat prediksi secara lazy

Prapemrosesan himpunan data besar

Mentransformasi data pelatihan secara lazy

Pembagian train-test secara lazy

Penutup

Dask Machine Learning and Final Pieces

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Saat bekerja dengan big data, Anda akan menghadapi dua hambatan umum: penggunaan memori yang berlebihan dan waktu eksekusi yang lama. Pustaka Dask dapat menurunkan penggunaan memori dengan memuat potongan data hanya saat diperlukan. Dask juga dapat mempercepat waktu eksekusi dengan menggunakan semua inti komputasi yang tersedia secara paralel. Yang terbaik, Anda hanya perlu sedikit perubahan pada kode Python yang sudah ada. Dalam kursus ini, Anda akan menggunakan Dask untuk menganalisis data lagu Spotify, memproses gambar gerakan bahasa isyarat, menghitung tren data cuaca, menganalisis rekaman audio, dan melatih model Machine Learning pada big data.

<h2>Gunakan Pemrosesan Paralel untuk Mempercepat Kode Python Anda</h2>
Dengan kursus 4 jam ini, Anda akan mempelajari bagaimana pemrosesan paralel menggunakan Dask dalam Python dapat mempercepat alur kerja Anda. 
<br><br>
Saat bekerja dengan big data, Anda akan menghadapi dua hambatan umum: penggunaan memori yang berlebihan dan waktu eksekusi yang lama. Perpustakaan Dask dapat mengurangi penggunaan memori Anda dengan memuat potongan data hanya saat diperlukan. Hal ini dapat mengurangi waktu eksekusi dengan menggunakan semua inti pemrosesan yang tersedia secara paralel. Yang terbaik dari semuanya, hal ini hanya memerlukan sedikit perubahan pada kode Python yang sudah ada.
<br><br>
<h2>Analisis Data Terstruktur Besar Menggunakan Dask DataFrames</h2>
Dalam kursus ini, Anda akan menggunakan Dask untuk menganalisis data lagu Spotify, memproses gambar gerakan bahasa isyarat, menghitung tren dalam data cuaca, menganalisis rekaman audio, dan melatih model pembelajaran mesin pada data besar.
<br><br>
Anda akan memulai dengan mempelajari dasar-dasar Dask, menjelajahi bagaimana pemrosesan paralel dalam Python dapat mempercepat hampir semua kode. Selanjutnya, Anda akan mempelajari Dask DataFrames dan array, serta cara menggunakannya untuk menganalisis data terstruktur berskala besar. 
<br><br>
<h2>Latih model pembelajaran mesin menggunakan Dask-ML</h2>
Seiring Anda menyelesaikan 51 latihan dalam kursus ini, Anda akan belajar cara memproses berbagai jenis data, menggunakan Dask bags untuk bekerja dengan data tidak terstruktur dan terstruktur. Akhirnya, Anda akan belajar cara menggunakan Dask dalam Python untuk melatih model pembelajaran mesin dan meningkatkan kecepatan komputasi Anda.

Data Manipulation with pandas

Python Toolbox

Pelajari pemrograman paralel Python dengan Dask untuk meningkatkan alur kerja dan mengelola data besar.

Pemrograman Paralel dengan Dask di Python

Pelajari cara menggunakan pemrograman paralel Python dengan Dask untuk meningkatkan efisiensi alur kerja Anda dan mengelola data besar dengan lebih efisien. 

Climate Informatics Researcher

Melatih model machine learning pada dataset besar

Dask-ML

Regresi linear

Mem-fit model regresi linear

Menggunakan model scikit-learn dengan Dask

Fitting butuh beberapa iterasi

Melatih model Incremental

Membuat prediksi

Ayo berlatih!

Dask Machine Learning and Final Pieces - Melatih model Machine Learning pada himpunan data berukuran besar

Melatih model Machine Learning pada himpunan data berukuran besar

Create Your Free Account