Lọc dữ liệu

Giờ bạn đã nắm được một chút SQL, chúng ta sẽ dễ dàng nói về các thao tác tương tự với Spark DataFrame.

Hãy xem phương thức .filter(). Đúng như bạn đoán, đây là “bản sao” của mệnh đề WHERE trong SQL. Phương thức .filter() nhận vào hoặc là một biểu thức dạng chuỗi giống phần theo sau mệnh đề WHERE của một câu SQL, hoặc một cột Spark gồm các giá trị boolean (True/False).

Ví dụ, hai biểu thức sau sẽ cho cùng một kết quả:

flights.filter("air_time > 120").show()
flights.filter(flights.air_time > 120).show()

Lưu ý trong trường hợp đầu, ta truyền một chuỗi vào .filter(). Trong SQL, ta sẽ viết thao tác lọc này như SELECT * FROM flights WHERE air_time > 120. .filter() của Spark có thể nhận bất kỳ biểu thức nào có thể đặt trong mệnh đề WHERE của một truy vấn SQL (trong trường hợp này là "air_time > 120"), miễn là truyền vào dưới dạng chuỗi. Cũng lưu ý rằng trong chuỗi này, ta không nhắc đến tên bảng — giống như khi viết yêu cầu SQL.

Trong trường hợp thứ hai, ta truyền vào một cột các giá trị boolean cho .filter(). Hãy nhớ flights.air_time > 120 trả về một cột boolean với True tại những bản ghi trong flights.air_time lớn hơn 120, và False nếu không.

Nhớ rằng một SparkSession tên là spark đã có sẵn trong không gian làm việc của bạn, cùng với Spark DataFrame flights.