Sử dụng DataFrame

Cấu trúc dữ liệu cốt lõi của Spark là Resilient Distributed Dataset (RDD). Đây là một đối tượng cấp thấp cho phép Spark phát huy “phép thuật” của mình bằng cách chia dữ liệu trên nhiều nút trong cụm. Tuy nhiên, RDD khó làm việc trực tiếp, vì vậy trong khóa học này bạn sẽ dùng lớp trừu tượng Spark DataFrame được xây dựng trên RDD.

Spark DataFrame được thiết kế để hoạt động rất giống một bảng SQL (bảng có biến ở các cột và quan sát ở các hàng). Không chỉ dễ hiểu hơn, DataFrame còn được tối ưu hóa tốt hơn RDD cho các phép toán phức tạp.

Khi bạn bắt đầu chỉnh sửa và kết hợp các cột và hàng dữ liệu, có rất nhiều cách để đi đến cùng một kết quả, nhưng một số cách mất thời gian lâu hơn hẳn. Khi dùng RDD, nhà khoa học dữ liệu phải tự tìm cách tối ưu truy vấn, còn DataFrame thì phần lớn tối ưu hóa đã được tích hợp sẵn!

Để bắt đầu làm việc với Spark DataFrame, trước hết bạn cần tạo một đối tượng SparkSession từ SparkContext. Bạn có thể xem SparkContext như kết nối của bạn tới cụm và SparkSession như giao diện làm việc với kết nối đó.

Hãy nhớ, trong phần còn lại của khóa học bạn sẽ có một SparkSession tên là spark sẵn trong không gian làm việc!

Trong số các lựa chọn sau, ưu điểm nào của Spark DataFrame so với RDD?