This chapter provides a comprehensive introduction to Data Version Control (DVC), a tool essential for data versioning in machine learning. Learners will explore the motivation behind data versioning, understand its differences from code versioning, and experiment with a simple classification problem. They will review basic Git commands, learn about DVC, and practice setting up a repository. The chapter concludes with an overview of DVC’s features and use cases, including versioning data and models, CI/CD for machine learning, experiment tracking, pipelines, and more.

Motivasi Versioning Data

Anatomi Model Machine Learning

Perbedaan antara Versioning Data dan Kode

Memahami Hiperparameter

Pengenalan DVC

def greet():
    print("Hello World!")

if __name__=="__main__":
    greet()

Bekerja dengan Git CLI

Tinjau DVC CLI

Fitur DVC dan kasus penggunaan

Pipeline DVC

CI/CD untuk machine learning

Introduction to DVC

This chapter delves into the setup of DVC, encompassing aspects such as installation, initialization of the repository, and the utilization of the .dvcignore file. It further navigates through the exploration of DVC cache and staging files, imparting knowledge on how to add and remove files, manage caches, and comprehend the underlying mechanisms using the MD5 hash. The chapter also elucidates on DVC remotes, distinguishing them from Git remotes, and guides you on how to add, list, and modify them. Lastly, it teaches you how to interact with these remotes by pushing and pulling data, checking out specific versions, and fetching data to the cache.

DVC Setup and Initialization

Setting up DVC

.dvcignore Patterns

DVC Cache and Staging Files

Working with DVC Cache

Understanding .dvc Files

Configuring DVC Remotes

Purpose of DVC Remotes

Setup a DVC Remote

Interacting with DVC Remotes

Versioning Data using DVC Remote

Checking out Versioned Data

DVC Configuration and Data Management

This chapter focuses on automating ML pipelines using DVC. Learners create a configuration file containing settings and hyperparameters. They also learn about pipeline visualization using directed acyclic graphs and use commands to describe dependencies, commands, and outputs. Execution of DVC pipelines is covered, including local model training and how Git tracks DVC metadata. Additionally, learners explore metrics and plots tracking in DVC, including how to print metrics, create plot files, and compare metrics and plots across different pipeline stages.

Code organization and refactoring

Understanding parameter files in DVC

Write a parameter file

Writing and visualizing DVC pipelines

Designing a DVC pipeline

Visualizing a DVC pipeline

Executing DVC pipelines

DVC pipeline execution concepts

Execute a ML model training pipeline

Evaluation: Metrics and plots in DVC

Tracking DVC Metrics

Adding plots to dvc.yaml

Congratulations!

Pipelines in DVC

Jelajahi Data Version Control (DVC), alat untuk mengelola dan melakukan versioning data ML. Pelajari perannya dalam siklus hidup ML, bedakan versioning data dari versioning kode, dan tinjau fitur serta kasus penggunaan DVC. Pelajari penyiapan DVC, termasuk manajemen cache dan remotes, serta temukan penerapannya dalam CI/CD, pelacakan eksperimen, dan pipeline. Otomatiskan pipeline ML dengan menekankan modularisasi kode, dan latih cara mengeksekusinya secara efisien. Akhiri dengan evaluasi model, mengeksplorasi pelacakan metrik di DVC untuk pengambilan keputusan yang lebih baik.



Kursus ini memberikan pengenalan komprehensif tentang Data Version Control (DVC), sebuah alat yang dirancang untuk pengelolaan dan penomoran versi data machine learning secara efisien. Anda akan memahami siklus hidup produk machine learning, membedakan versi data dari versi kode, dan menjelajahi fitur-fitur DVC serta kasus penggunaannya.

<h2>Menjelajahi fitur DVC</h2>
Anda akan memahami motivasi di balik versi data, siklus hidup pembelajaran mesin, serta fitur unik dan kasus penggunaan DVC. Anda juga akan mempelajari tentang pengaturan DVC, termasuk instalasi, inisialisasi repositori, dan berkas .dvcignore. Anda akan menjelajahi file cache dan staging DVC, belajar cara menambahkan dan menghapus file, mengelola cache, serta memahami mekanisme dasarnya. Anda akan mempelajari tentang remote DVC, menjelaskan perbedaan antara remote DVC dan Git, menambahkan remote, menampilkan daftar remote, dan memodifikasi remote. Anda akan belajar berinteraksi dengan remote, mengirim dan menerima data, memeriksa versi tertentu, dan mengambil data ke cache.

<h2>Otomatisasi dan evaluasi</h2>
Anda akan termotivasi untuk mengotomatisasi alur kerja ML, dengan menekankan pada modularisasi kode dan pembuatan berkas konfigurasi. Anda akan diperkenalkan pada DVC pipelines sebagai grafik acyclic terarah, dengan pengalaman praktis dalam menambahkan tahap-tahap dan masukan serta keluaran mereka. Anda akan berlatih mengimplementasikan pipeline-pipeline ini secara efisien untuk mendukung berbagai kasus penggunaan dalam pelatihan model machine learning. Kursus ini diakhiri dengan fokus pada evaluasi, menampilkan cara metrik dan grafik dilacak di DVC.

Supervised Learning with scikit-learn

Introduction to Git

Jelajahi Data Version Control untuk manajemen data ML. Kuasai pengaturan, otomatisasi, dan evaluasi model.

Pengantar Versioning Data dengan DVC

Jelajahi Pengendalian Versi Data untuk Pengelolaan Data ML. Atur pengaturan utama, otomatisasi alur kerja, dan evaluasi model dengan lancar.

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

CI/CD untuk machine learning

Pengantar Versioning Data dengan DVC

Latihan interaktif praktis