DVC Cache และการ Staging ไฟล์

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น

SkillTag.level.intermediateSkillTag.label

4.8+

บทนี้แนะนำ Data Version Control (DVC) อย่างครอบคลุม ซึ่งเป็นเครื่องมือสำคัญสำหรับการกำหนดเวอร์ชันข้อมูลใน machine learning ผู้เรียนจะได้สำรวจแรงจูงใจเบื้องหลังการกำหนดเวอร์ชันข้อมูล ทำความเข้าใจความแตกต่างจากการกำหนดเวอร์ชันโค้ด และลองปฏิบัติกับโจทย์การจำแนกประเภทเบื้องต้น รวมถึงทบทวนคำสั่ง Git พื้นฐาน เรียนรู้เกี่ยวกับ DVC และฝึกตั้งค่า repository บทนี้ปิดท้ายด้วยภาพรวมฟีเจอร์และกรณีการใช้งานของ DVC ได้แก่ การกำหนดเวอร์ชันข้อมูลและโมเดล CI/CD สำหรับ machine learning การติดตามการทดลอง pipeline และอื่น ๆ อีกมากมาย

Exercise 1: แรงจูงใจในการทำ Data Versioning Exercise 2: องค์ประกอบของโมเดล Machine Learning Exercise 3: ความแตกต่างระหว่างการทำ Versioning ข้อมูลและโค้ด Exercise 4: ทำความเข้าใจ Hyperparameter Exercise 5: DVC เบื้องต้น Exercise 6: การใช้งาน Git CLI Exercise 7: ทบทวน DVC CLI Exercise 8: ฟีเจอร์และกรณีการใช้งานของ DVC Exercise 9: DVC pipeline Exercise 10: CI/CD สำหรับ machine learning

บทนี้เจาะลึกการตั้งค่า DVC ครอบคลุมการติดตั้ง การเริ่มต้น repository และการใช้งานไฟล์ .dvcignore จากนั้นสำรวจ DVC cache และการ staging ไฟล์ เรียนรู้วิธีเพิ่มและลบไฟล์ จัดการ cache และทำความเข้าใจกลไกที่อยู่เบื้องหลังด้วย MD5 hash นอกจากนี้ยังอธิบาย DVC remote ความแตกต่างจาก Git remote และแนะนำวิธีเพิ่ม แสดงรายการ และแก้ไข remote สุดท้าย เรียนรู้วิธีโต้ตอบกับ remote โดยการ push และ pull ข้อมูล การ checkout เวอร์ชันที่ต้องการ และการดึงข้อมูลไปยัง cache

Exercise 1: การตั้งค่าและเริ่มต้นใช้งาน DVC Exercise 2: การตั้งค่า DVC Exercise 3: รูปแบบ .dvcignore Exercise 4: DVC Cache และการ Staging ไฟล์

แบบฝึกหัดปัจจุบัน

Exercise 5: การทำงานกับ DVC Cache Exercise 6: ทำความเข้าใจไฟล์ .dvc Exercise 7: การกำหนดค่า DVC Remotes Exercise 8: วัตถุประสงค์ของ DVC Remotes Exercise 9: ตั้งค่า DVC Remote Exercise 10: การโต้ตอบกับ DVC Remotes Exercise 11: การกำหนดเวอร์ชันข้อมูลด้วย DVC Remote Exercise 12: การ Checkout ข้อมูลตามเวอร์ชัน

บทนี้มุ่งเน้นการสร้าง ML pipeline อัตโนมัติด้วย DVC ผู้เรียนจะสร้างไฟล์ configuration ที่เก็บค่าตั้งต้นและ hyperparameter รวมถึงเรียนรู้การแสดงภาพ pipeline ด้วย directed acyclic graph และใช้คำสั่งเพื่อระบุ dependency คำสั่ง และ output ครอบคลุมการรัน DVC pipeline ทั้งการเทรนโมเดลในเครื่องและวิธีที่ Git ติดตาม DVC metadata นอกจากนี้ยังสำรวจการติดตาม metric และ plot ใน DVC รวมถึงการแสดง metric การสร้างไฟล์ plot และการเปรียบเทียบ metric และ plot ระหว่าง pipeline stage ต่าง ๆ

Exercise 1: การจัดระเบียบและการปรับโครงสร้างโค้ด Exercise 2: ทำความเข้าใจไฟล์พารามิเตอร์ใน DVC Exercise 3: เขียนไฟล์พารามิเตอร์Exercise 4: การเขียนและการแสดงผล DVC Pipelines Exercise 5: การออกแบบ DVC pipeline Exercise 6: การแสดงภาพ DVC Pipeline Exercise 7: การรัน DVC Pipeline Exercise 8: แนวคิดการรัน DVC pipeline Exercise 9: รันไปป์ไลน์การเทรนโมเดล ML Exercise 10: การประเมินผล: เมตริกและกราฟใน DVC Exercise 11: การติดตาม Metrics ใน DVC Exercise 12: การเพิ่ม plots ใน dvc.yaml Exercise 13: ยินดีด้วย!