Xác thực các hàng qua phép join

Một cách khác để lọc dữ liệu là dùng phép join để loại bỏ các bản ghi không hợp lệ. Bạn sẽ cần kiểm tra xem tên thư mục có đúng như mong đợi dựa trên DataFrame valid_folders_df đã cho. DataFrame split_df vẫn như lúc bạn để lại, với một nhóm các cột đã tách.

Đối tượng spark đã sẵn có, và pyspark.sql.functions đã được import với tên F.