Mẫu kết nối - làm việc - ngắt kết nối

Làm việc với sparklyr rất giống với làm việc với dplyr khi bạn có dữ liệu trong cơ sở dữ liệu. Thực tế, sparklyr chuyển đổi mã R của bạn thành mã SQL trước khi gửi sang Spark.

Quy trình điển hình gồm ba bước:

Kết nối tới Spark bằng spark_connect().
Thực hiện một số thao tác.
Đóng kết nối tới Spark bằng spark_disconnect().

Trong bài tập này, bạn sẽ thực hiện tác vụ đơn giản nhất: trả về phiên bản Spark đang chạy bằng spark_version().

spark_connect() nhận một URL cho biết vị trí của Spark. Với cụm cục bộ (như bạn đang chạy), URL nên là "local". Với cụm từ xa (trên máy khác, thường là máy chủ hiệu năng cao), chuỗi kết nối sẽ là một URL và cổng để kết nối.

spark_version() và spark_disconnect() đều nhận đối số duy nhất là kết nối Spark.

Một lưu ý quan trọng: Kết nối tới cụm mất vài giây, nên việc kết nối và ngắt kết nối thường xuyên là không thực tế. Mặc dù bạn cần kết nối lại cho mỗi bài tập trên DataCamp, khi bạn tích hợp sparklyr vào quy trình làm việc của riêng mình, thường tốt nhất là giữ kết nối mở trong suốt thời gian bạn muốn làm việc với Spark.

Bài tập này là một phần của khóa học

Nhập môn Spark với sparklyr trong R

Xem khóa học

Hướng dẫn bài tập

Tải gói sparklyr bằng library().
Kết nối tới Spark bằng cách gọi spark_connect() với đối số master = "local". Gán kết quả cho spark_conn.
Lấy phiên bản Spark bằng spark_version() với đối số sc = spark_conn.
Ngắt kết nối khỏi Spark bằng spark_disconnect() với đối số sc = spark_conn.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Load sparklyr
___

# Connect to your Spark cluster
spark_conn <- ___

# Print the version of Spark
___

# Disconnect from Spark
___

Chỉnh sửa và Chạy Mã