이 장에서는 Machine Learning에서 데이터 버저닝을 위해 필수적인 도구인 Data Version Control(DVC)을 폭넓게 소개합니다. 데이터 버저닝의 필요성을 살펴보고, 코드 버전 관리와의 차이를 이해하며, 간단한 분류 문제로 실습해 봅니다. 기본 Git 명령을 복습한 뒤 DVC를 배우고, 저장소를 설정하는 과정을 연습합니다. 마지막으로 데이터와 모델의 버전 관리, ML을 위한 CI/CD, 실험 추적, 파이프라인 등 DVC의 주요 기능과 활용 사례를 개괄합니다.

데이터 버전 관리의 필요성

Machine Learning 모델의 구성 요소 살펴보기

데이터 버전 관리와 코드 버전 관리의 차이

하이퍼파라미터 이해하기

DVC 소개

Git CLI 다루기

DVC CLI 복습

DVC의 기능과 활용 사례

DVC 파이프라인

Machine Learning을 위한 CI/CD

이 장에서는 DVC의 설치, 저장소 초기화, 그리고 .dvcignore 파일 사용 등 환경 설정을 다룹니다. 이어서 DVC 캐시와 스테이징 파일을 탐색하며, 파일 추가/삭제, 캐시 관리, 그리고 MD5 해시를 통해 동작 원리를 이해하는 방법을 배웁니다. 또한 Git 리모트와 구분되는 DVC 리모트를 설명하고, 리모트를 추가, 목록 조회, 수정하는 방법을 안내합니다. 마지막으로 리모트와 상호작용하는 방법으로 데이터 push/pull, 특정 버전 checkout, 캐시로 데이터 fetch하는 절차를 학습합니다.

DVC 설정 및 초기화

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

DVC 설정하기

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore 패턴

DVC 캐시와 스테이징 파일

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


DVC 캐시 다루기

`.dvc` 파일 이해하기

DVC 원격 저장소 구성

DVC Remote의 목적

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

DVC 원격 저장소 설정

DVC 원격 저장소와 상호 작용하기

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

DVC Remote를 사용한 데이터 버전 관리

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

버전이 있는 데이터 체크아웃하기

DVC 설정과 데이터 관리

이 장은 DVC로 ML 파이프라인을 자동화하는 데 초점을 맞춥니다. 설정과 하이퍼파라미터를 담은 구성 파일을 만들고, 유향 비순환 그래프를 사용한 파이프라인 시각화를 학습합니다. 의존성, 명령, 결과물을 기술하는 명령어도 사용합니다. DVC 파이프라인 실행, 로컬 모델 학습, 그리고 Git이 DVC 메타데이터를 추적하는 방식도 다룹니다. 추가로 DVC에서의 지표와 플롯 추적을 살펴보며, 지표 출력, 플롯 파일 생성, 파이프라인 단계 간 지표와 플롯 비교 방법을 배웁니다.

코드 구성과 리팩터링

DVC의 매개변수 파일 이해하기

매개변수 파일 작성하기

DVC 파이프라인 작성과 시각화

DVC 파이프라인 설계하기

DVC 파이프라인 시각화하기

DVC 파이프라인 실행하기

DVC 파이프라인 실행 개념

ML 모델 학습 파이프라인 실행하기

평가: DVC에서의 메트릭과 플롯

DVC 메트릭 추적하기

dvc.yaml에 플롯 추가하기

축하합니다!

DVC의 파이프라인

Machine Learning 데이터를 관리하고 버전 관리하는 도구인 Data Version Control(DVC)을 자세히 알아봐요. ML 라이프사이클에서의 역할을 살펴보고, 데이터 버저닝과 코드 버전 관리의 차이를 구분하며, DVC의 기능과 활용 사례를 탐구합니다. 캐시 관리와 리모트 설정을 포함한 DVC 환경 설정 방법을 배우고, CI/CD, 실험 추적, 파이프라인에서의 활용을 알아봅니다. 코드 모듈화를 강조하며 ML 파이프라인을 자동화하고 효율적으로 실행하는 방법을 연습해 보세요. 마지막으로 DVC에서의 지표 추적을 통해 모델 평가를 수행하고, 근거 있는 의사결정을 돕는 방법을 익힙니다.


이 강의는 머신 러닝 데이터의 효율적인 관리와 버전 관리를 위해 설계된 도구인 Data Version Control(DVC)에 대한 포괄적인 입문을 제공합니다. 머신 러닝 제품 수명 주기에 대한 이해를 얻고, 데이터 버전 관리와 코드 버전 관리를 구분하며 DVC의 특성과 활용 사례를 살펴보게 됩니다.

<h2>DVC 특성 살펴보기</h2>
데이터 버전 관리의 필요성, 머신 러닝 라이프사이클, 그리고 DVC의 고유한 특성과 활용 사례를 이해하게 됩니다. DVC 설정에 대해서도 배우게 되며, 설치, 저장소 초기화, .dvcignore 파일을 다룹니다. DVC 캐시와 스테이징 파일을 살펴보고, 파일을 추가하고 제거하는 방법을 배우며, 캐시를 관리하고 그 이면의 작동 원리를 이해하게 됩니다. DVC 원격 저장소에 대해 배우고, DVC와 Git 원격 저장소의 차이점을 설명하며, 원격 저장소를 추가하고, 리스트로 확인하고, 수정하는 방법을 익히게 됩니다. 원격 저장소와 상호작용하고, 데이터를 push 및 pull하며, 특정 버전을 체크아웃하고, 데이터를 캐시에 가져오는 방법을 배우게 됩니다.

<h2>자동화 및 평가</h2>
ML 파이프라인을 자동화하도록 동기를 부여받게 되며, 코드의 모듈화와 구성 파일 생성에 중점을 두게 됩니다. DVC 파이프라인을 방향성 비순환 그래프로 소개받게 되며, 단계와 그 입력 및 출력을 추가하는 실습 경험을 쌓게 됩니다. 머신 러닝 모델 학습에서 다양한 사용 사례를 지원할 수 있도록 이러한 파이프라인을 효율적으로 실행하는 실습 문제를 진행합니다. 강의는 평가에 초점을 맞추며 마무리되며, DVC에서 지표와 그래프를 어떻게 추적하는지 보여줍니다.

Supervised Learning with scikit-learn

Introduction to Git

ML 데이터 관리를 위한 데이터 버전 제어를 탐색하세요. 설정, 파이프라인 자동화, 모델 평가.

DVC로 배우는 데이터 버저닝 입문

ML 데이터 관리용 Data Version Control을 탐색하세요. 설정을 익히고, 파이프라인을 자동화하며, 모델을 원활하게 평가합니다.

DVC 캐시와 스테이징 파일

Create Your Free Account