使用 DataFrame
在上一个练习中,您学习了如何把任务拆解,并使用底层的 Python multiprocessing.Pool API 在多个处理单元上并行计算。
理解这些底层机制很重要,但在实际工作中,您很少直接使用这类 API。更便捷的方式是借助 dask 框架及其对 pandas DataFrame 的抽象来在多个分组上并行执行 apply 操作。
pandas 的 DataFrame athlete_events 已在您的工作区中可用。
本练习是课程的一部分
Data Engineering 入门
交互式实操练习
通过完成这段示例代码来试试这个练习。
import dask.dataframe as dd
# Set the number of partitions
athlete_events_dask = dd.from_pandas(athlete_events, ____=____)