Tổng hợp trong RDD
Giờ bạn đã thực hiện phân tích với DataFrame trong PySpark, hãy thử nhanh một tác vụ tương tự với RDD. Sử dụng đoạn mã được cung cấp, hãy tính tổng các giá trị của một RDD trong PySpark.
Một phiên Spark tên là spark đã được tạo sẵn cho bạn.
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Tạo một RDD từ DataFrame đã cho.
- Áp dụng Hàm Lambda đã cung cấp lên các key của RDD.
- Thu thập (collect) kết quả của phép tổng hợp.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# DataFrame Creation
data = [("HR", "3000"), ("IT", "4000"), ("Finance", "3500")]
columns = ["Department", "Salary"]
df = spark.createDataFrame(data, schema=columns)
# Map the DataFrame to an RDD
rdd = df.rdd.____(lambda row: (row["Department"], row["Salary"]))
# Apply a lambda function to get the sum of the DataFrame
rdd_aggregated = rdd.____(lambda x, y: x + y)
# Show the collected Results
print(rdd_aggregated.____())