本章將帶你認識 Dask 與惰性評估的基礎。完成本章後，你將能透過平行處理或多執行緒來加速幾乎任何 Python 程式碼。你也會了解這兩種工作排程方式的差異，以及在什麼情況下該選擇哪一種更合適。

Dask 入門

延遲評估

延後執行函式

任務圖與排程方法

有哪些不同的排程器？

繪製任務圖

建立延遲管線

分析 Spotify 上的歌曲

現在的歌曲有多適合跳舞？

最受歡迎的歌曲

惰性評估與平行運算

在這裡你將學習如何使用 Dask array 與 Dask DataFrame 來分析大型的結構化資料。你會看到如何把你對 NumPy 與 pandas 的既有知識，輕鬆應用到無法一次載入記憶體的資料上。

Dask 陣列

Dask 陣列的 chunksize

載入與處理照片

影像處理流程

Dask DataFrame

從 CSV 建立 Dask DataFrame

從 Parquet 讀取 Dask DataFrame

夏日節奏

多維陣列

探索 HDF5 檔案

從 HDF5 資料集建立 Dask 陣列

從 Zarr 資料集建立 Dask 陣列

Xarray

使用 xarray 進行探索式資料分析

每月平均氣溫

計算歐洲氣溫的長期趨勢

大型結構化資料的平行處理

處理各式各樣的資料。你將學到如何使用 Dask bag 高效處理非結構化的文字資料、半結構化的 JSON 資料，甚至是錄製的音訊。

Dask bag 入門

建立 Dask bag

從已儲存的文字建立 bag

字串操作

Dask bag 的操作

載入 JSON 資料

過濾 Dask bag

串接操作

將非結構化資料轉換為 DataFrame

重構字典結構

轉換為 DataFrame

在 Dask bag 中使用各種資料

載入 wav 資料

自訂建立 Dask bag

處理非結構化的音訊

用 Dask Bag 處理非結構化資料

善用 Dask 的威力來訓練機器學習模型。你將學到如何使用 Dask-ML 套件在巨量資料上訓練機器學習模型，以及如何將 Dask 計算在多程序與多執行緒之間分配，以獲得更高的運算速度。

使用行程與執行緒

會使用哪一個排程器？

叢集與用戶端

在大型資料集上訓練機器學習模型

使用 Dask 訓練線性模型

延後計算的預測

大型資料集的前處理

延後執行地轉換訓練資料

延遲的訓練／測試切分

總結

Dask 的機器學習與最後拼圖

European Rainfall - Zarr

Spotify Songs - CSV

European Rainfall - HDF5

Spotify Songs - Parquet

Politicians

Tripadvisor Hotel Reviews

處理巨量資料時，你常會遇到兩個難題：記憶體使用過多與執行時間過長。Dask 函式庫能透過在需要時才載入資料分塊來降低記憶體用量，並利用所有可用的計算核心進行平行運算以縮短執行時間。最棒的是，你幾乎不需要大幅修改既有的 Python 程式碼。在本課程中，你會使用 Dask 來分析 Spotify 歌曲資料、處理手語手勢影像、計算天氣資料的趨勢、分析音訊錄音，並在巨量資料上訓練機器學習模型。

<h2>使用平行處理加速您的 Python 程式碼</h2>
透過這門 4 小時的課程，您將學習如何在 Python 中使用 Dask 進行平行處理，讓您的工作流程更加高效。 
<br><br>
在處理大數據時，您將面臨兩個常見挑戰：記憶體使用過多以及執行時間過長。 Dask 函式庫能夠僅在需要時載入資料區塊，有效降低記憶體使用量。 它可以透過同時運用所有可用的運算核心來縮短執行時間。 最棒的是，您只需對現有的 Python 程式碼進行極少的修改。
<br><br>
<h2>使用 Dask DataFrames 分析大型結構化資料</h2>
在本課程中，您將運用 Dask 分析 Spotify 歌曲資料、處理手語手勢的影像、計算天氣資料的趨勢、分析音訊錄音，並在大數據上訓練機器學習模型。
<br><br>
您將從學習 Dask 的基礎開始，了解如何利用 Python 的平行處理來加速幾乎所有程式碼的執行。 接下來，您將學習如何使用 Dask DataFrame 和陣列來分析大型結構化資料。 
<br><br>
<h2>使用 Dask-ML 訓練機器學習模型</h2>
在本課程的 51 個練習中，您將學習如何處理各類型資料，並運用 Dask bags 來處理非結構化與結構化資料。 最後，您將學習如何在 Python 中使用 Dask 來訓練機器學習模型並提升運算速度。

Data Manipulation with pandas

Python Toolbox

學習使用Dask的Python平行程式設計，以提升工作流程並有效處理大數據。

在 Python 中使用 Dask 進行平行程式設計

掌握使用 Dask 進行 Python 並行程式設計，提升工作流程並高效處理大數據。 

使用行程與執行緒

Create Your Free Account