Deploy ETL Pipeline บน Kubernetes

ในแบบฝึกหัดนี้ คุณจะ deploy ETL pipeline บน Kubernetes โดยขั้นตอน Extract, Transform และ Load จะดำเนินการผ่าน Pod ซึ่งอ่านและเขียนข้อมูลไปยัง Persistent Volume ที่สร้างขึ้นโดย Persistent Volume Claims

โจทย์คือการหาจำนวนผู้โดยสารทั้งหมดที่นั่ง NYC yellow cab เป็นกลุ่ม 2 คนขึ้นไป "Extract Pod" จะเตรียมข้อมูลเริ่มต้นในรูปแบบไฟล์ CSV แล้วส่งต่อให้ "Transform Pod" Pod นี้จะประมวลผลข้อมูล yellow cab ลงในฐานข้อมูล SQLite เลือกเฉพาะข้อมูลที่จำเป็นสำหรับการคำนวณขั้นสุดท้าย แล้วส่งต่อให้ "Load Pod" ซึ่งจะรวมข้อมูลผู้โดยสารทั้งหมด แสดงผล และบันทึกเป็นไฟล์ CSV

ทุกขั้นตอนใช้ Kubernetes objects มาตรฐานที่คุณรู้จักอยู่แล้ว มีการเตรียมไดเรกทอรีสองชุดไว้ให้แล้ว ได้แก่ "Docker/" และ "Manifests/" ซึ่งเก็บไฟล์ที่จำเป็นสำหรับการสร้าง Docker image และ deploy บน Kubernetes