Dask 允許你使用平行處理或多執行緒。兩者各有優缺點,效能好壞取決於你的任務。所幸 Dask 切換很容易,你可以都試試看。不過,若要真正提升效能,了解兩者的特性很重要。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
本章將帶你認識 Dask 與惰性評估的基礎。完成本章後,你將能透過平行處理或多執行緒來加速幾乎任何 Python 程式碼。你也會了解這兩種工作排程方式的差異,以及在什麼情況下該選擇哪一種更合適。
當前練習
在這裡你將學習如何使用 Dask array 與 Dask DataFrame 來分析大型的結構化資料。你會看到如何把你對 NumPy 與 pandas 的既有知識,輕鬆應用到無法一次載入記憶體的資料上。
處理各式各樣的資料。你將學到如何使用 Dask bag 高效處理非結構化的文字資料、半結構化的 JSON 資料,甚至是錄製的音訊。
善用 Dask 的威力來訓練機器學習模型。你將學到如何使用 Dask-ML 套件在巨量資料上訓練機器學習模型,以及如何將 Dask 計算在多程序與多執行緒之間分配,以獲得更高的運算速度。