Khám phá SparkContext

Trong bài tập này, bạn sẽ làm quen với SparkContext.

Bạn có thể nhận thấy mã chạy lâu hơn kỳ vọng. Đó là vì Spark là một phần mềm “nặng ký”. Thời gian khởi động của nó dài hơn so với những gì bạn quen thuộc. Bạn cũng có thể thấy các phép tính đơn giản chạy lâu hơn dự đoán. Lý do là các tối ưu hóa của Spark được thiết kế cho các thao tác phức tạp với bộ dữ liệu lớn. Điều đó có nghĩa là với những bài toán đơn giản hoặc nhỏ, Spark thật ra có thể kém hiệu quả hơn một số giải pháp khác!