1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Làm sạch dữ liệu với PySpark
Connected

Bài tập

Đọc cấu hình Spark

Bạn vừa cấu hình một cụm qua nhà cung cấp đám mây. Cách truy cập duy nhất của bạn là qua dòng lệnh hoặc mã Python. Bạn muốn kiểm tra một số thiết lập Spark để xác nhận cấu hình của cụm.

Đối tượng spark đã sẵn sàng để dùng.

Hướng dẫn

100 XP
  • Kiểm tra tên của phiên bản ứng dụng Spark ('spark.app.name').
  • Xác định cổng TCP mà driver đang chạy ('spark.driver.port').
  • Xác định số lượng phân vùng được cấu hình cho phép nối (joins).
  • Hiển thị kết quả.