使用 DataFrame
在上一個練習中,你看過如何把一個任務拆解,並使用較低階的 Python multiprocessing.Pool API 在多個處理單元上進行計算。
理解這種較低層的做法很重要,但實務上你幾乎不會直接使用這類 API。更方便的方式是用像 dask 這樣的框架,透過它對 pandas DataFrame 的抽象,來把對多個群組的 apply 平行化。
pandas 的 DataFrame,athlete_events,已經在你的工作環境中可用。
本練習屬於課程
Data Engineering 入門
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
import dask.dataframe as dd
# Set the number of partitions
athlete_events_dask = dd.from_pandas(athlete_events, ____=____)