This chapter provides a comprehensive introduction to Data Version Control (DVC), a tool essential for data versioning in machine learning. Learners will explore the motivation behind data versioning, understand its differences from code versioning, and experiment with a simple classification problem. They will review basic Git commands, learn about DVC, and practice setting up a repository. The chapter concludes with an overview of DVC’s features and use cases, including versioning data and models, CI/CD for machine learning, experiment tracking, pipelines, and more.

Data Versioning Motivation

Anatomy of a Machine Learning Model

Differences Between Data and Code Versioning

Understanding Hyperparameters

Introduction to DVC

Working with Git CLI

Review DVC CLI

DVC features and use cases

DVC pipelines

CI/CD for machine learning

This chapter delves into the setup of DVC, encompassing aspects such as installation, initialization of the repository, and the utilization of the .dvcignore file. It further navigates through the exploration of DVC cache and staging files, imparting knowledge on how to add and remove files, manage caches, and comprehend the underlying mechanisms using the MD5 hash. The chapter also elucidates on DVC remotes, distinguishing them from Git remotes, and guides you on how to add, list, and modify them. Lastly, it teaches you how to interact with these remotes by pushing and pulling data, checking out specific versions, and fetching data to the cache.

DVC Kurulumu ve Başlatma

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

DVC Kurulumu

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore Kalıpları

DVC Önbelleği ve Aşama Dosyaları

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


DVC Önbelleği ile Çalışma

`.dvc` Dosyalarını Anlama

DVC Uzaklarını Yapılandırma

DVC Remotes'in Amacı

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

Bir DVC Remote’u Ayarla

DVC Uzaklarıyla Etkileşim

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

DVC Remote kullanarak verileri versiyonlama

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

Sürümlendirilmiş Verileri Checkout Etme

DVC Configuration and Data Management

This chapter focuses on automating ML pipelines using DVC. Learners create a configuration file containing settings and hyperparameters. They also learn about pipeline visualization using directed acyclic graphs and use commands to describe dependencies, commands, and outputs. Execution of DVC pipelines is covered, including local model training and how Git tracks DVC metadata. Additionally, learners explore metrics and plots tracking in DVC, including how to print metrics, create plot files, and compare metrics and plots across different pipeline stages.

Code organization and refactoring

Understanding parameter files in DVC

Write a parameter file

Writing and visualizing DVC pipelines

Designing a DVC pipeline

Visualizing a DVC pipeline

Executing DVC pipelines

DVC pipeline execution concepts

Execute a ML model training pipeline

Evaluation: Metrics and plots in DVC

Tracking DVC Metrics

Adding plots to dvc.yaml

Congratulations!

Pipelines in DVC

Machine Learning verilerini yönetmek ve sürümlendirmek için kullanılan bir araç olan Data Version Control (DVC)’e dal. ML yaşam döngüsündeki rolünü keşfet, veri sürümlendirmeyi kod sürümlendirmeden ayırt et ve DVC’nin özellikleri ile kullanım alanlarını incele. Önbellek yönetimi ve uzak depolar (remotes) dahil DVC kurulumunu öğren ve CI/CD, deney takibi ve boru hatları (pipelines) gibi uygulamalarını keşfet. Kodun modülerleştirilmesine vurgu yaparak ML boru hatlarını otomatikleştir ve bunları verimli şekilde çalıştırmayı pratiğe dök. Son olarak, DVC’de metrik takibini keşfederek bilinçli kararlar için model değerlendirmesini tamamla.



Bu kurs, makine öğrenimi verilerinin verimli yönetimi ve sürüm kontrolü için tasarlanmış bir araç olan Veri Sürüm Kontrolü (DVC) hakkında kapsamlı bir giriş sunar. Makine öğrenimi ürün yaşam döngüsünü anlayacak, veri sürümleme ile kod sürümleme arasındaki farkı öğrenecek ve DVC'nin özelliklerini ve kullanım örneklerini keşfedeceksiniz.

<h2>DVC özelliklerini keşfetme</h2>
Veri sürümleme, makine öğrenimi yaşam döngüsü ve DVC'nin ayırt edici özellikleri ve kullanım örneklerinin ardındaki motivasyonları anlayacaksınız. Ayrıca, kurulum, depo başlatma ve .dvcignore dosyasını kapsayan DVC kurulumunu da öğreneceksiniz. DVC önbellek ve hazırlık dosyalarını keşfedecek, dosya eklemeyi ve silmeyi öğrenecek, önbellekleri yönetecek ve temel mekanizmaları anlayacaksınız. DVC uzak sunucuları hakkında bilgi edinecek, DVC ve Git uzak sunucuları arasındaki farkı açıklayacak, uzak sunucular ekleyecek, bunları listeleyecek ve değiştireceksiniz. Uzaktan kumandalarla etkileşim kurmayı, verileri itmeyi ve çekmeyi, belirli sürümleri kontrol etmeyi ve verileri önbelleğe almayı öğreneceksiniz.

<h2>Otomatikleştirin ve değerlendirin</h2>
Kodun modülerleştirilmesine ve yapılandırma dosyasının oluşturulmasına önem vererek, ML boru hatlarını otomatikleştirmeye motive olacaksınız. DVC boru hatlarını yönlendirilmiş döngüsüz grafikler olarak tanıyacak ve aşamaları ile bunların giriş ve çıkışlarını ekleme konusunda pratik deneyim kazanacaksınız. Makine öğrenimi modeli eğitiminde farklı kullanım senaryolarını mümkün kılmak için bu ardışık düzenleri verimli bir şekilde yürütmeyi öğreneceksiniz. Kurs, DVC'de metriklerin ve grafiklerin nasıl izlendiğini gösteren değerlendirme odaklı bir bölümle sona erer.

Supervised Learning with scikit-learn

Introduction to Git

ML veri yönetimi için Veri Sürüm Kontrolünü keşfedin. Kurulumu öğrenin, süreçleri otomatikleştirin.

DVC ile Veri Sürümlendirmeye Giriş

ML veri yönetimi için Veri Sürüm Kontrolünü keşfedin. Ana kurulum, otomatikleştirilmiş iş akışları ve modellerin sorunsuz bir şekilde değerlendirilmesi.

DVC Uzaklarını Yapılandırma

Create Your Free Account