Sử dụng DataFrame
Ở bài tập trước, bạn đã thấy cách chia nhỏ một tác vụ và dùng API cấp thấp multiprocessing.Pool của Python để thực hiện tính toán trên nhiều đơn vị xử lý.
Việc nắm rõ cơ chế cấp thấp là rất quan trọng, nhưng trên thực tế, bạn hầu như không dùng trực tiếp kiểu API này. Một cách tiện hơn để song song hóa thao tác apply trên nhiều nhóm là dùng framework dask và lớp trừu tượng của nó cho pandas DataFrame, chẳng hạn.
pandas DataFrame athlete_events đã có sẵn trong không gian làm việc của bạn.
Bài tập này là một phần của khóa học
Introduction to Data Engineering
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
import dask.dataframe as dd
# Set the number of partitions
athlete_events_dask = dd.from_pandas(athlete_events, ____=____)