Tối ưu kích thước tệp
Giả sử bạn có 2 tệp dữ liệu lớn trên một cụm có 10 nút. Mỗi tệp chứa 10 triệu dòng với kích thước xấp xỉ nhau. Khi làm việc với dữ liệu, độ phản hồi chấp nhận được nhưng việc đọc ban đầu từ các tệp mất khá nhiều thời gian. Lưu ý rằng chỉ mình bạn sử dụng dữ liệu này và dữ liệu thay đổi theo mỗi lần chạy.
Trong các lựa chọn sau, phương án nào là tốt nhất để cải thiện hiệu năng?
Bài tập này là một phần của khóa học
Làm sạch dữ liệu với PySpark
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập