เชื่อมโยงแต่ละส่วนเข้าด้วยกัน

Data pipeline ใช้สำหรับประมวลผลข้อมูล ในตอนท้ายของบทที่ 1 คุณได้เรียนรู้เกี่ยวกับ ETL (Extract, Transform, Load) ซึ่งเป็นหนึ่งในกรอบแนวคิดที่ใช้สร้าง data pipeline งานประมวลผลข้อมูลที่เพิ่งศึกษาไปนั้นสอดคล้องกับกรอบแนวคิดนี้ โดยแต่ละงานจะจัดอยู่ในขั้นตอน Extraction, Transformation หรือ Loading

สังเกตว่าแม้การบันทึก (saving) และการโหลด (loading) มักถูกมองว่าตรงข้ามกัน แต่ในบริบทของ data engineering ทั้งสองมีความหมายเดียวกัน เพราะเมื่อบันทึกข้อมูล ก็คือการจัดเก็บข้อมูลนั้นไว้ในขั้นตอนถัดไปของ pipeline นั่นเอง

ลองจัดประเภทงานประมวลผลข้อมูลต่อไปนี้ให้ถูกต้องว่าเป็น Extraction, Transformation หรือ Loading