Nhóm và Tổng hợp II
Bên cạnh các phương thức của GroupedData mà bạn đã thấy, còn có phương thức .agg().
Phương thức này cho phép bạn truyền vào một biểu thức cột tổng hợp sử dụng bất kỳ hàm tổng hợp nào từ submodule pyspark.sql.functions.
Submodule này chứa nhiều hàm hữu ích để tính các giá trị như độ lệch chuẩn. Tất cả các hàm tổng hợp trong submodule này đều nhận tên của một cột trong bảng GroupedData.
Lưu ý, một SparkSession tên là spark đã có sẵn trong workspace của bạn, cùng với Spark DataFrame flights. Các DataFrame đã được nhóm mà bạn tạo ở bài trước cũng có trong workspace.
Bài tập này là một phần của khóa học
Nền tảng về PySpark
Hướng dẫn bài tập
- Import submodule
pyspark.sql.functionsvới bí danhF. - Tạo bảng
GroupedDatatênby_month_destđược nhóm theo cả hai cộtmonthvàdest. Truyền hai tên cột này như hai đối số riêng biệt. - Dùng phương thức
.avg()trên DataFrameby_month_destđể lấy giá trị trung bình củadep_delaytheo từng tháng cho từng điểm đến. - Tìm độ lệch chuẩn của
dep_delaybằng phương thức.agg()với hàmF.stddev().
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import pyspark.sql.functions as F
import ____ as F
# Group by month and dest
by_month_dest = flights.groupBy(____)
# Average departure delay by month and destination
by_month_dest.____.show()
# Standard deviation of departure delay
by_month_dest.agg(F.____(____)).show()