Bab ini memberikan pengantar komprehensif tentang Data Version Control (DVC), alat penting untuk versioning data dalam machine learning. Anda akan mengeksplorasi motivasi di balik versioning data, memahami perbedaannya dengan versioning kode, dan mencoba masalah klasifikasi sederhana. Anda akan meninjau perintah Git dasar, mempelajari DVC, dan berlatih menyiapkan repositori. Bab ini diakhiri dengan ikhtisar fitur dan kasus penggunaan DVC, termasuk versioning data dan model, CI/CD untuk machine learning, pelacakan eksperimen, pipeline, dan lainnya.

Motivasi Versioning Data

Anatomi Model Machine Learning

Perbedaan antara Versioning Data dan Kode

Memahami Hiperparameter

Pengenalan DVC

Bekerja dengan Git CLI

Tinjau DVC CLI

Fitur DVC dan kasus penggunaan

Pipeline DVC

CI/CD untuk machine learning

Pengantar DVC

Bab ini membahas penyiapan DVC, mencakup aspek seperti instalasi, inisialisasi repositori, dan penggunaan berkas .dvcignore. Bab ini juga mengulas eksplorasi cache DVC dan berkas staging, memberikan pemahaman tentang cara menambahkan dan menghapus berkas, mengelola cache, serta memahami mekanisme dasarnya menggunakan hash MD5. Bab ini juga menjelaskan DVC remote, membedakannya dari Git remote, dan memandu Anda cara menambah, menampilkan daftar, dan memodifikasinya. Terakhir, Anda akan mempelajari cara berinteraksi dengan remote tersebut dengan melakukan push dan pull data, checkout versi tertentu, serta fetch data ke cache.

Penyiapan dan Inisialisasi DVC

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

Menyiapkan DVC

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore Patterns

Cache DVC dan Berkas Staging

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


Bekerja dengan DVC Cache

Memahami Berkas .dvc

Mengonfigurasi Remote DVC

Tujuan DVC Remotes

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

Menyiapkan DVC Remote

Berinteraksi dengan DVC Remote

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

Versioning Data menggunakan DVC Remote

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

Melakukan Checkout Data yang Berversi

Konfigurasi DVC dan Manajemen Data

Bab ini berfokus pada otomasi pipeline ML menggunakan DVC. Anda akan membuat berkas konfigurasi yang berisi pengaturan dan hiperparameter. Anda juga mempelajari visualisasi pipeline menggunakan directed acyclic graph dan menggunakan perintah untuk mendeskripsikan dependensi, perintah, dan keluaran. Eksekusi pipeline DVC dibahas, termasuk pelatihan model lokal dan bagaimana Git melacak metadata DVC. Selain itu, Anda akan mengeksplorasi pelacakan metrik dan plot di DVC, termasuk cara menampilkan metrik, membuat berkas plot, serta membandingkan metrik dan plot di berbagai tahap pipeline.

Organisasi kode dan refaktorisasi

Memahami berkas parameter di DVC

Tulis sebuah berkas parameter

Menulis dan memvisualisasikan pipeline DVC

Merancang pipeline DVC

Memvisualisasikan pipeline DVC

Menjalankan pipeline DVC

Konsep eksekusi pipeline DVC

Menjalankan pipeline pelatihan model ML

Evaluasi: Metrik dan plot di DVC

Melacak Metrik DVC

Menambahkan plot ke dvc.yaml

Selamat!

Pipeline di DVC

Jelajahi Data Version Control (DVC), alat untuk mengelola dan melakukan versioning data ML. Pelajari perannya dalam siklus hidup ML, bedakan versioning data dari versioning kode, dan tinjau fitur serta kasus penggunaan DVC. Pelajari penyiapan DVC, termasuk manajemen cache dan remotes, serta temukan penerapannya dalam CI/CD, pelacakan eksperimen, dan pipeline. Otomatiskan pipeline ML dengan menekankan modularisasi kode, dan latih cara mengeksekusinya secara efisien. Akhiri dengan evaluasi model, mengeksplorasi pelacakan metrik di DVC untuk pengambilan keputusan yang lebih baik.



Kursus ini memberikan pengenalan komprehensif tentang Data Version Control (DVC), sebuah alat yang dirancang untuk pengelolaan dan penomoran versi data machine learning secara efisien. Anda akan memahami siklus hidup produk machine learning, membedakan versi data dari versi kode, dan menjelajahi fitur-fitur DVC serta kasus penggunaannya.

<h2>Menjelajahi fitur DVC</h2>
Anda akan memahami motivasi di balik versi data, siklus hidup pembelajaran mesin, serta fitur unik dan kasus penggunaan DVC. Anda juga akan mempelajari tentang pengaturan DVC, termasuk instalasi, inisialisasi repositori, dan berkas .dvcignore. Anda akan menjelajahi file cache dan staging DVC, belajar cara menambahkan dan menghapus file, mengelola cache, serta memahami mekanisme dasarnya. Anda akan mempelajari tentang remote DVC, menjelaskan perbedaan antara remote DVC dan Git, menambahkan remote, menampilkan daftar remote, dan memodifikasi remote. Anda akan belajar berinteraksi dengan remote, mengirim dan menerima data, memeriksa versi tertentu, dan mengambil data ke cache.

<h2>Otomatisasi dan evaluasi</h2>
Anda akan termotivasi untuk mengotomatisasi alur kerja ML, dengan menekankan pada modularisasi kode dan pembuatan berkas konfigurasi. Anda akan diperkenalkan pada DVC pipelines sebagai grafik acyclic terarah, dengan pengalaman praktis dalam menambahkan tahap-tahap dan masukan serta keluaran mereka. Anda akan berlatih mengimplementasikan pipeline-pipeline ini secara efisien untuk mendukung berbagai kasus penggunaan dalam pelatihan model machine learning. Kursus ini diakhiri dengan fokus pada evaluasi, menampilkan cara metrik dan grafik dilacak di DVC.

Supervised Learning with scikit-learn

Introduction to Git

Jelajahi Data Version Control untuk manajemen data ML. Kuasai pengaturan, otomatisasi, dan evaluasi model.

Pengantar Versioning Data dengan DVC

Jelajahi Pengendalian Versi Data untuk Pengelolaan Data ML. Atur pengaturan utama, otomatisasi alur kerja, dan evaluasi model dengan lancar.

Memahami Berkas .dvc

Pengantar Versioning Data dengan DVC

Latihan interaktif langsung