本章將完整介紹 Data Version Control（DVC），這是機器學習中進行資料版本控管不可或缺的工具。你會了解為何需要資料版本控管、它與程式碼版本控管的差異，並動手嘗試一個簡單的分類問題。你也會複習基本的 Git 指令、認識 DVC，並練習建立版本庫。最後，本章將概覽 DVC 的功能與使用情境，包括資料與模型的版本控管、機器學習的 CI/CD、實驗追蹤、工作流程等。

資料版控的動機

機器學習模型的構成

資料與程式碼版本控管的差異

理解超參數

DVC 簡介

使用 Git CLI

複習 DVC CLI

DVC 的功能與使用情境

DVC pipelines

機器學習的 CI/CD

DVC 入門

本章將深入講解 DVC 的設定，包括安裝、初始化版本庫，以及使用 .dvcignore 檔案。接著會帶你探索 DVC 的快取與暫存檔，學會如何加入與移除檔案、管理快取，並透過 MD5 雜湊理解其底層機制。此章也會說明 DVC 遠端儲存，並與 Git 遠端加以區分，指引你如何新增、列出與修改遠端設定。最後，你將學會如何與這些遠端互動：推送與拉取資料、切換特定版本，以及將資料擷取到快取中。

DVC 設定與初始化

設定 DVC

.dvcignore 規則

DVC 快取與暫存檔案

操作 DVC Cache

理解 .dvc 檔案

設定 DVC 遠端

DVC Remotes 的用途

設定 DVC Remote

與 DVC 遠端互動

使用 DVC Remote 進行資料版控

切換版本化資料

DVC 設定與資料管理

本章聚焦於使用 DVC 自動化 ML 工作流程。你會建立一個包含設定與超參數的組態檔，並學習用有向無環圖來視覺化工作流程，利用指令描述相依性、指令與輸出。內容也涵蓋 DVC 工作流程的執行，包括在本機進行模型訓練，以及 Git 如何追蹤 DVC 中繼資料。此外，你將探索 DVC 的指標與圖表追蹤功能，包括如何列印指標、建立圖表檔，並在不同工作流程階段之間比較指標與圖表。

程式碼組織與重構

理解 DVC 中的參數檔

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - ____
  # Add RainTomorrow as target column
  target_column: ____
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: ____
    max_depth: 2
    random_state: 42
  

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - Date
  # Add RainTomorrow as target column
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

撰寫參數檔

撰寫並視覺化 DVC pipeline

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
____ \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
____ \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
____ \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
-o processed_data.csv \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
-p split \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
-d model.pkl \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

stages:
  preprocess_stage:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split_stage:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train_stage:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate_stage:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


設計一個 DVC pipeline

stages:
  preprocess:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


視覺化 DVC pipeline

執行 DVC pipelines

選項

True

False

DVC pipeline 執行觀念

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - metrics.json
    - confusion_matrix.png


schema: '2.0'
stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - path: preprocess_dataset.py
      md5: c4a584bed44aaee9e5e5d73974d974f8
      size: 4499
    - path: raw_dataset/weather.csv
      md5: e602b116f50269aa781c0c910cd80db9
      size: 2701130
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        preprocess:
          drop_colnames:
          - Date
          target_column: RainTomorrow
          categorical_features:
          - Location
          - WindGustDir
          - WindDir9am
          - WindDir3pm
          - RainToday
    outs:
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - path: metrics_and_plots.py
      md5: f3db712083b5c84677d41948f71c54d2
      size: 1658
    - path: model.py
      md5: 928da86a0d41e4543ad5c10034dcebc9
      size: 1615
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
    - path: train_and_evaluate.py
      md5: 9c7bb633a92451eda26df183ef4db7e8
      size: 2351
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        train_and_evaluate:
          target_column: RainTomorrow
          train_test_split:
            test_size: 0.2
            random_state: 1993
          shuffle: true
          shuffle_random_state: 1993
          rfc_params:
            n_estimators: 2
            max_depth: 2
            random_state: 42
    outs:
    - path: confusion_matrix.png
      md5: fb816ca1280172bfad3988402cc23902
      size: 17433
    - path: metrics.json
      md5: 1309f5092ba8d530648a071216f62452
      size: 78


執行一個 ML 模型訓練 pipeline

評估：DVC 中的指標與圖表

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    - predictions.csv
    metrics:
      - metrics.json:
          cache: false

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 3
    max_depth: 2
    random_state: 42

追蹤 DVC 指標（metrics）

stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - ____:
          # Write the plot template
          template: ____
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: ____
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - predictions.csv:
          # Write the plot template
          template: confusion
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: false
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


在 dvc.yaml 中加入圖表

恭喜你！

DVC 中的工作流程（Pipelines）

深入認識 Data Version Control（DVC），這是一套用來管理與版本控管機器學習資料的工具。你會探討它在 ML 生命週期中的角色，分辨資料版本控管與程式碼版本控管的差異，並檢視 DVC 的功能與常見情境。你將學會 DVC 的安裝與設定，包括快取管理與遠端儲存，並了解它在 CI/CD、實驗追蹤與工作流程（pipelines）中的應用。自動化 ML 工作流程，強調程式碼模組化，並實作高效率的執行。最後，以模型評估作結，學習在 DVC 中追蹤評估指標，做出更有根據的決策。


本課程全面介紹 Data Version Control (DVC)，這是一款專為高效管理與版本控制機器學習資料而設計的工具。 您將了解機器學習產品的生命週期，區分資料版本控制與程式碼版本控制，並深入探索 DVC 的功能與應用情境。

<h2>探索 DVC 功能</h2>
您將了解資料版本控制的動機、機器學習生命週期，以及 DVC 的獨特功能與應用情境。 您還將學習 DVC 的設定，包括安裝、儲存庫初始化，以及 .dvcignore 檔案的相關內容。 您將深入探索 DVC 快取與暫存檔案，學習如何新增與移除檔案、管理快取，並了解其背後的運作機制。 您將學習 DVC 遠端、說明 DVC 與 Git 遠端的區別，新增遠端、列出遠端，並進行修改。 您將學習如何與遠端互動、推送與拉取資料、檢出特定版本，以及將資料擷取到快取中。

<h2>自動化與評估</h2>
您將會受到啟發，自動化機器學習流程，強調程式碼的模組化以及建立設定檔。 您將學習如何將 DVC pipeline 視為有向無環圖，並親自操作，新增各個階段及其輸入與輸出。 您將實際操作這些流程，以高效執行並支援各種機器學習模型訓練的應用情境。 本課程最後將重點放在評估，展示如何在 DVC 中追蹤指標與圖表。

Supervised Learning with scikit-learn

Introduction to Git

探索資料版本控制以管理機器學習數據，掌握設置、自動化流程並無縫評估模型。

使用 DVC 進行資料版本控管入門

掌握 Data Version Control，優化 ML 資料管理。 精通設置、自動化流程，輕鬆評估模型。

撰寫並視覺化 DVC pipeline

Create Your Free Account