Bab ini akan mengajarkan dasar-dasar Dask dan evaluasi malas (lazy evaluation). Di akhir bab ini, Anda akan dapat mempercepat hampir semua kode Python dengan menggunakan pemrosesan paralel atau multi-threading. Anda akan mempelajari perbedaan antara dua metode penjadwalan tugas ini dan mana yang lebih baik dalam keadaan tertentu.

Pengantar Dask

Lazy evaluation

Menunda fungsi

Graf tugas dan metode penjadwalan

Apa saja jenis scheduler yang berbeda?

Memplot task graph

Membangun pipeline tertunda

Menganalisis lagu di Spotify

Seberapa mudah lagu-lagu saat ini untuk didansaikan?

Lagu paling populer

 Evaluasi Malas dan Komputasi Paralel

Di sini Anda akan belajar cara menganalisis data besar yang terstruktur menggunakan Dask array dan Dask DataFrame. Anda akan melihat bahwa semua yang Anda ketahui tentang NumPy dan pandas dapat dengan mudah diterapkan pada data yang terlalu besar untuk dimuat seluruhnya ke dalam memori.

Array Dask

Ukuran chunk pada Dask array

Memuat dan memproses foto

Sebuah pipeline pemrosesan gambar

Dask DataFrame

Membuat Dask DataFrame dari CSV

Membaca Dask DataFrame dari Parquet

Alunan musim panas

Array multidimensi

Menjelajahi berkas HDF5

Array Dask dari himpunan data HDF5

Array Dask dari himpunan data Zarr

Xarray

Analisis data eksploratif dengan xarray

Rata-rata suhu bulanan

Menghitung tren suhu di Eropa

Pemrosesan Paralel untuk Data Besar Terstruktur

Proses segala jenis data. Anda akan mempelajari bagaimana Dask bag dapat digunakan untuk memproses data teks tidak terstruktur, data JSON semi-terstruktur, dan bahkan rekaman audio secara efisien.

Pengantar Dask Bag

Membuat Dask bag

Membuat bag dari teks yang disimpan

Operasi string

Operasi Dask bag

Memuat data JSON

Memfilter Dask bag

Merangkaikan operasi

Mengonversi data tak terstruktur menjadi DataFrame

Restrukturisasi dictionary

Mengonversi ke DataFrame

Menggunakan data apa pun dalam Dask bag

Memuat data wav

Membangun Dask bag kustom

Memroses audio tak terstruktur

Dask Bag untuk Data Tidak Terstruktur

Manfaatkan kekuatan Dask untuk melatih model Machine Learning. Anda akan mempelajari cara melatih model Machine Learning pada big data menggunakan paket Dask-ML, serta cara membagi perhitungan Dask pada campuran proses dan thread untuk kecepatan komputasi yang lebih tinggi.

Menggunakan proses dan thread

Scheduler mana yang akan digunakan?

Klaster dan klien

Melatih model Machine Learning pada himpunan data berukuran besar

Menggunakan Dask untuk melatih model linear

Membuat prediksi secara lazy

Prapemrosesan himpunan data besar

Mentransformasi data pelatihan secara lazy

Pembagian train-test secara lazy

Penutup

Dask untuk Machine Learning dan Penutup

Spotify Songs - CSV

Spotify Songs - Parquet

European Rainfall - HDF5

European Rainfall - Zarr

Tripadvisor Hotel Reviews

Politicians

Saat bekerja dengan big data, Anda akan menghadapi dua hambatan umum: penggunaan memori yang berlebihan dan waktu eksekusi yang lama. Pustaka Dask dapat menurunkan penggunaan memori dengan memuat potongan data hanya saat diperlukan. Dask juga dapat mempercepat waktu eksekusi dengan menggunakan semua inti komputasi yang tersedia secara paralel. Yang terbaik, Anda hanya perlu sedikit perubahan pada kode Python yang sudah ada. Dalam kursus ini, Anda akan menggunakan Dask untuk menganalisis data lagu Spotify, memproses gambar gerakan bahasa isyarat, menghitung tren data cuaca, menganalisis rekaman audio, dan melatih model Machine Learning pada big data.

<h2>Gunakan Pemrosesan Paralel untuk Mempercepat Kode Python Anda</h2>
Dengan kursus 4 jam ini, Anda akan mempelajari bagaimana pemrosesan paralel menggunakan Dask dalam Python dapat mempercepat alur kerja Anda. 
<br><br>
Saat bekerja dengan big data, Anda akan menghadapi dua hambatan umum: penggunaan memori yang berlebihan dan waktu eksekusi yang lama. Perpustakaan Dask dapat mengurangi penggunaan memori Anda dengan memuat potongan data hanya saat diperlukan. Hal ini dapat mengurangi waktu eksekusi dengan menggunakan semua inti pemrosesan yang tersedia secara paralel. Yang terbaik dari semuanya, hal ini hanya memerlukan sedikit perubahan pada kode Python yang sudah ada.
<br><br>
<h2>Analisis Data Terstruktur Besar Menggunakan Dask DataFrames</h2>
Dalam kursus ini, Anda akan menggunakan Dask untuk menganalisis data lagu Spotify, memproses gambar gerakan bahasa isyarat, menghitung tren dalam data cuaca, menganalisis rekaman audio, dan melatih model pembelajaran mesin pada data besar.
<br><br>
Anda akan memulai dengan mempelajari dasar-dasar Dask, menjelajahi bagaimana pemrosesan paralel dalam Python dapat mempercepat hampir semua kode. Selanjutnya, Anda akan mempelajari Dask DataFrames dan array, serta cara menggunakannya untuk menganalisis data terstruktur berskala besar. 
<br><br>
<h2>Latih model pembelajaran mesin menggunakan Dask-ML</h2>
Seiring Anda menyelesaikan 51 latihan dalam kursus ini, Anda akan belajar cara memproses berbagai jenis data, menggunakan Dask bags untuk bekerja dengan data tidak terstruktur dan terstruktur. Akhirnya, Anda akan belajar cara menggunakan Dask dalam Python untuk melatih model pembelajaran mesin dan meningkatkan kecepatan komputasi Anda.

Data Manipulation with pandas

Python Toolbox

Pelajari pemrograman paralel Python dengan Dask untuk meningkatkan alur kerja dan mengelola data besar.

Pemrograman Paralel dengan Dask di Python

Pelajari cara menggunakan pemrograman paralel Python dengan Dask untuk meningkatkan efisiensi alur kerja Anda dan mengelola data besar dengan lebih efisien. 

Ukuran chunk pada Dask array

Pemrograman Paralel dengan Dask di Python

Latihan interaktif langsung