Nhóm dữ liệu với PySpark
Bạn đã thấy cách dùng framework dask và DataFrame của nó để thực hiện một số phép tính. Tuy nhiên, như bạn đã thấy trong video, trong thế giới dữ liệu lớn, Spark có lẽ là lựa chọn phổ biến hơn cho xử lý dữ liệu.
Trong bài tập này, bạn sẽ dùng gói PySpark để làm việc với một Spark DataFrame. Dữ liệu giống như các bài trước: những người tham gia các sự kiện Olympic từ 1896 đến 2016.
Spark DataFrame athlete_events_spark đã có sẵn trong không gian làm việc của bạn.
Các phương thức bạn sẽ dùng trong bài tập này gồm:
.printSchema(): in ra schema của một Spark DataFrame..groupBy(): nhóm dữ liệu để thực hiện phép tổng hợp..mean(): tính giá trị trung bình cho mỗi nhóm..show(): hiển thị kết quả.
Bài tập này là một phần của khóa học
Introduction to Data Engineering
Hướng dẫn bài tập
- Xác định kiểu dữ liệu của
athlete_events_spark. - Xem schema của
athlete_events_spark. - In ra tuổi trung bình của các vận động viên Olympic, nhóm theo năm. Lưu ý rằng Spark hiện vẫn chưa thực sự tính toán gì. Bạn có thể gọi đây là đánh giá lười (lazy evaluation).
- Dùng kết quả trước đó và gọi
.show()trên kết quả để thực hiện tính toán tuổi trung bình.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Print the type of athlete_events_spark
print(____(athlete_events_spark))
# Print the schema of athlete_events_spark
print(athlete_events_spark.____())
# Group by the Year, and find the mean Age
print(athlete_events_spark.____('Year').mean(____))
# Group by the Year, and find the mean Age
print(athlete_events_spark.____('Year').mean(____).____())