이 장에서는 Machine Learning에서 데이터 버저닝을 위해 필수적인 도구인 Data Version Control(DVC)을 폭넓게 소개합니다. 데이터 버저닝의 필요성을 살펴보고, 코드 버전 관리와의 차이를 이해하며, 간단한 분류 문제로 실습해 봅니다. 기본 Git 명령을 복습한 뒤 DVC를 배우고, 저장소를 설정하는 과정을 연습합니다. 마지막으로 데이터와 모델의 버전 관리, ML을 위한 CI/CD, 실험 추적, 파이프라인 등 DVC의 주요 기능과 활용 사례를 개괄합니다.

데이터 버전 관리의 필요성

Machine Learning 모델의 구성 요소 살펴보기

데이터 버전 관리와 코드 버전 관리의 차이

하이퍼파라미터 이해하기

DVC 소개

Git CLI 다루기

DVC CLI 복습

DVC의 기능과 활용 사례

DVC 파이프라인

Machine Learning을 위한 CI/CD

이 장에서는 DVC의 설치, 저장소 초기화, 그리고 .dvcignore 파일 사용 등 환경 설정을 다룹니다. 이어서 DVC 캐시와 스테이징 파일을 탐색하며, 파일 추가/삭제, 캐시 관리, 그리고 MD5 해시를 통해 동작 원리를 이해하는 방법을 배웁니다. 또한 Git 리모트와 구분되는 DVC 리모트를 설명하고, 리모트를 추가, 목록 조회, 수정하는 방법을 안내합니다. 마지막으로 리모트와 상호작용하는 방법으로 데이터 push/pull, 특정 버전 checkout, 캐시로 데이터 fetch하는 절차를 학습합니다.

DVC 설정 및 초기화

DVC 설정하기

.dvcignore 패턴

DVC 캐시와 스테이징 파일

DVC 캐시 다루기

`.dvc` 파일 이해하기

DVC 원격 저장소 구성

DVC Remote의 목적

DVC 원격 저장소 설정

DVC 원격 저장소와 상호 작용하기

DVC Remote를 사용한 데이터 버전 관리

버전이 있는 데이터 체크아웃하기

DVC 설정과 데이터 관리

이 장은 DVC로 ML 파이프라인을 자동화하는 데 초점을 맞춥니다. 설정과 하이퍼파라미터를 담은 구성 파일을 만들고, 유향 비순환 그래프를 사용한 파이프라인 시각화를 학습합니다. 의존성, 명령, 결과물을 기술하는 명령어도 사용합니다. DVC 파이프라인 실행, 로컬 모델 학습, 그리고 Git이 DVC 메타데이터를 추적하는 방식도 다룹니다. 추가로 DVC에서의 지표와 플롯 추적을 살펴보며, 지표 출력, 플롯 파일 생성, 파이프라인 단계 간 지표와 플롯 비교 방법을 배웁니다.

코드 구성과 리팩터링

DVC의 매개변수 파일 이해하기

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - ____
  # Add RainTomorrow as target column
  target_column: ____
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: ____
    max_depth: 2
    random_state: 42
  

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - Date
  # Add RainTomorrow as target column
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

매개변수 파일 작성하기

DVC 파이프라인 작성과 시각화

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
____ \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
____ \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
____ \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
-o processed_data.csv \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
-p split \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
-d model.pkl \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

stages:
  preprocess_stage:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split_stage:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train_stage:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate_stage:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


DVC 파이프라인 설계하기

stages:
  preprocess:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


DVC 파이프라인 시각화하기

DVC 파이프라인 실행하기

Options

True

False

DVC 파이프라인 실행 개념

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - metrics.json
    - confusion_matrix.png


schema: '2.0'
stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - path: preprocess_dataset.py
      md5: c4a584bed44aaee9e5e5d73974d974f8
      size: 4499
    - path: raw_dataset/weather.csv
      md5: e602b116f50269aa781c0c910cd80db9
      size: 2701130
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        preprocess:
          drop_colnames:
          - Date
          target_column: RainTomorrow
          categorical_features:
          - Location
          - WindGustDir
          - WindDir9am
          - WindDir3pm
          - RainToday
    outs:
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - path: metrics_and_plots.py
      md5: f3db712083b5c84677d41948f71c54d2
      size: 1658
    - path: model.py
      md5: 928da86a0d41e4543ad5c10034dcebc9
      size: 1615
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
    - path: train_and_evaluate.py
      md5: 9c7bb633a92451eda26df183ef4db7e8
      size: 2351
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        train_and_evaluate:
          target_column: RainTomorrow
          train_test_split:
            test_size: 0.2
            random_state: 1993
          shuffle: true
          shuffle_random_state: 1993
          rfc_params:
            n_estimators: 2
            max_depth: 2
            random_state: 42
    outs:
    - path: confusion_matrix.png
      md5: fb816ca1280172bfad3988402cc23902
      size: 17433
    - path: metrics.json
      md5: 1309f5092ba8d530648a071216f62452
      size: 78


ML 모델 학습 파이프라인 실행하기

평가: DVC에서의 메트릭과 플롯

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    - predictions.csv
    metrics:
      - metrics.json:
          cache: false

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 3
    max_depth: 2
    random_state: 42

DVC 메트릭 추적하기

stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - ____:
          # Write the plot template
          template: ____
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: ____
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - predictions.csv:
          # Write the plot template
          template: confusion
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: false
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


dvc.yaml에 플롯 추가하기

축하합니다!

DVC의 파이프라인

Machine Learning 데이터를 관리하고 버전 관리하는 도구인 Data Version Control(DVC)을 자세히 알아봐요. ML 라이프사이클에서의 역할을 살펴보고, 데이터 버저닝과 코드 버전 관리의 차이를 구분하며, DVC의 기능과 활용 사례를 탐구합니다. 캐시 관리와 리모트 설정을 포함한 DVC 환경 설정 방법을 배우고, CI/CD, 실험 추적, 파이프라인에서의 활용을 알아봅니다. 코드 모듈화를 강조하며 ML 파이프라인을 자동화하고 효율적으로 실행하는 방법을 연습해 보세요. 마지막으로 DVC에서의 지표 추적을 통해 모델 평가를 수행하고, 근거 있는 의사결정을 돕는 방법을 익힙니다.


이 강의는 머신 러닝 데이터의 효율적인 관리와 버전 관리를 위해 설계된 도구인 Data Version Control(DVC)에 대한 포괄적인 입문을 제공합니다. 머신 러닝 제품 수명 주기에 대한 이해를 얻고, 데이터 버전 관리와 코드 버전 관리를 구분하며 DVC의 특성과 활용 사례를 살펴보게 됩니다.

<h2>DVC 특성 살펴보기</h2>
데이터 버전 관리의 필요성, 머신 러닝 라이프사이클, 그리고 DVC의 고유한 특성과 활용 사례를 이해하게 됩니다. DVC 설정에 대해서도 배우게 되며, 설치, 저장소 초기화, .dvcignore 파일을 다룹니다. DVC 캐시와 스테이징 파일을 살펴보고, 파일을 추가하고 제거하는 방법을 배우며, 캐시를 관리하고 그 이면의 작동 원리를 이해하게 됩니다. DVC 원격 저장소에 대해 배우고, DVC와 Git 원격 저장소의 차이점을 설명하며, 원격 저장소를 추가하고, 리스트로 확인하고, 수정하는 방법을 익히게 됩니다. 원격 저장소와 상호작용하고, 데이터를 push 및 pull하며, 특정 버전을 체크아웃하고, 데이터를 캐시에 가져오는 방법을 배우게 됩니다.

<h2>자동화 및 평가</h2>
ML 파이프라인을 자동화하도록 동기를 부여받게 되며, 코드의 모듈화와 구성 파일 생성에 중점을 두게 됩니다. DVC 파이프라인을 방향성 비순환 그래프로 소개받게 되며, 단계와 그 입력 및 출력을 추가하는 실습 경험을 쌓게 됩니다. 머신 러닝 모델 학습에서 다양한 사용 사례를 지원할 수 있도록 이러한 파이프라인을 효율적으로 실행하는 실습 문제를 진행합니다. 강의는 평가에 초점을 맞추며 마무리되며, DVC에서 지표와 그래프를 어떻게 추적하는지 보여줍니다.

Supervised Learning with scikit-learn

Introduction to Git

ML 데이터 관리를 위한 데이터 버전 제어를 탐색하세요. 설정, 파이프라인 자동화, 모델 평가.

DVC로 배우는 데이터 버저닝 입문

ML 데이터 관리용 Data Version Control을 탐색하세요. 설정을 익히고, 파이프라인을 자동화하며, 모델을 원활하게 평가합니다.

DVC 파이프라인 작성과 시각화

Create Your Free Account