การออกแบบ DVC pipeline

การออกแบบ DVC pipeline หรือ DAG ถือเป็นพื้นฐานสำคัญของการใช้ DVC ในกระบวนการ machine learning DAG ช่วยให้เราระบุ input, output และขั้นตอนการทำงานของแต่ละ stage ได้อย่างชัดเจน โดย output ของ stage หนึ่งสามารถกลายเป็น input ของ stage ถัดไปได้ ซึ่งช่วยกำหนด dependency ระหว่าง stage ได้โดยอัตโนมัติ

ในแบบฝึกหัดนี้ จะได้ออกแบบ ML workflow ที่ประกอบด้วย 4 stage ได้แก่

• การเตรียมข้อมูล (preprocess_stage)
• การแบ่งข้อมูล (split_stage)
• การเทรนโมเดล (train_stage)
• การประเมินโมเดล (evaluate_stage)

เราจะใช้คำสั่ง dvc stage add เป็นหลัก เลื่อนลงไปด้านล่างของ shell script (dvc_dag_stages_add.sh) หากจำเป็น