使用 Dask 陣列時,你可以分塊載入常見的 HDF5 檔案格式。這表示你可以運用 Dask 的排程功能來加速處理這些資料。
一個 h5py.File 物件已經用來載入位於 'data/era_eu.hdf5' 的資料集,並以 file 提供在主控台中。請使用這個物件,找出代表溫度的陣列大小。
h5py.File
'data/era_eu.hdf5'
file
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
本章將帶你認識 Dask 與惰性評估的基礎。完成本章後,你將能透過平行處理或多執行緒來加速幾乎任何 Python 程式碼。你也會了解這兩種工作排程方式的差異,以及在什麼情況下該選擇哪一種更合適。
在這裡你將學習如何使用 Dask array 與 Dask DataFrame 來分析大型的結構化資料。你會看到如何把你對 NumPy 與 pandas 的既有知識,輕鬆應用到無法一次載入記憶體的資料上。
當前練習
處理各式各樣的資料。你將學到如何使用 Dask bag 高效處理非結構化的文字資料、半結構化的 JSON 資料,甚至是錄製的音訊。
善用 Dask 的威力來訓練機器學習模型。你將學到如何使用 Dask-ML 套件在巨量資料上訓練機器學習模型,以及如何將 Dask 計算在多程序與多執行緒之間分配,以獲得更高的運算速度。