Spark คืออะไร?
Spark คือแพลตฟอร์มสำหรับการประมวลผลแบบคลัสเตอร์ Spark ช่วยให้กระจายข้อมูลและการคำนวณออกไปยัง คลัสเตอร์ ที่มีหลาย โหนด (ให้นึกถึงแต่ละโหนดเหมือนคอมพิวเตอร์แยกเครื่องหนึ่ง) การแบ่งข้อมูลออกเป็นส่วนย่อยช่วยให้ทำงานกับชุดข้อมูลขนาดใหญ่ได้ง่ายขึ้น เพราะแต่ละโหนดรับผิดชอบข้อมูลเพียงส่วนเล็กๆ เท่านั้น
เมื่อแต่ละโหนดทำงานกับชุดข้อมูลย่อยของตัวเอง ก็จะรับผิดชอบการคำนวณบางส่วนไปพร้อมกันด้วย ทำให้ทั้งการประมวลผลข้อมูลและการคำนวณเกิดขึ้น แบบขนาน บนโหนดต่างๆ ในคลัสเตอร์ การคำนวณแบบขนานช่วยให้งานบางประเภทเร็วขึ้นได้อย่างมาก
อย่างไรก็ตาม พลังการประมวลผลที่มากขึ้นก็มาพร้อมกับความซับซ้อนที่เพิ่มขึ้นเช่นกัน
การพิจารณาว่า Spark เหมาะกับปัญหาของคุณหรือไม่ต้องอาศัยประสบการณ์ แต่สามารถเริ่มต้นจากคำถามเหล่านี้:
- ข้อมูลของฉันใหญ่เกินกว่าจะประมวลผลบนเครื่องเดียวหรือไม่?
- การคำนวณของฉันสามารถแบ่งประมวลผลแบบขนานได้ง่ายหรือเปล่า?
พร้อมแล้วหรือยังที่จะเรียนรู้เรื่อง Spark เพิ่มเติม?
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด