Использование DataFrame
В предыдущем упражнении вы узнали, как разбить задачу на части и использовать низкоуровневый API multiprocessing.Pool из Python для выполнения вычислений на нескольких процессорных ядрах.
Важно понимать, как это работает на низком уровне, однако на практике такие API используются редко. Более удобный способ распараллелить операцию применения функции по группам — воспользоваться фреймворком dask и его абстракцией над DataFrame из pandas.
DataFrame athlete_events из библиотеки pandas доступен в вашем рабочем пространстве.
Это упражнение является частью курса
Введение в дата-инжиниринг
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
import dask.dataframe as dd
# Set the number of partitions
athlete_events_dask = dd.from_pandas(athlete_events, ____=____)