Đọc cấu hình Spark
Bạn vừa cấu hình một cụm qua nhà cung cấp đám mây. Cách truy cập duy nhất của bạn là qua dòng lệnh hoặc mã Python. Bạn muốn kiểm tra một số thiết lập Spark để xác nhận cấu hình của cụm.
Đối tượng spark đã sẵn sàng để dùng.
Bài tập này là một phần của khóa học
Làm sạch dữ liệu với PySpark
Hướng dẫn bài tập
- Kiểm tra tên của phiên bản ứng dụng Spark ('spark.app.name').
- Xác định cổng TCP mà driver đang chạy ('spark.driver.port').
- Xác định số lượng phân vùng được cấu hình cho phép nối (joins).
- Hiển thị kết quả.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)