DataFrame を使う
前の演習では、タスクを分割して、低レベルな Python の multiprocessing.Pool API を使い、複数の処理ユニットで計算する方法を見ました。
低レベルの仕組みを理解することは大切ですが、実務でこの種の API を直接使うことはほとんどありません。複数グループに対する apply を並列化するには、例えば dask フレームワークと、その pandas DataFrame の抽象化を使う方が便利です。
pandas の DataFrame である athlete_events がワークスペースに用意されています。
この演習はコースの一部です
データエンジニアリング入門
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
import dask.dataframe as dd
# Set the number of partitions
athlete_events_dask = dd.from_pandas(athlete_events, ____=____)