本章將完整介紹 Data Version Control（DVC），這是機器學習中進行資料版本控管不可或缺的工具。你會了解為何需要資料版本控管、它與程式碼版本控管的差異，並動手嘗試一個簡單的分類問題。你也會複習基本的 Git 指令、認識 DVC，並練習建立版本庫。最後，本章將概覽 DVC 的功能與使用情境，包括資料與模型的版本控管、機器學習的 CI/CD、實驗追蹤、工作流程等。

資料版控的動機

機器學習模型的構成

資料與程式碼版本控管的差異

理解超參數

DVC 簡介

使用 Git CLI

複習 DVC CLI

DVC 的功能與使用情境

DVC pipelines

機器學習的 CI/CD

DVC 入門

本章將深入講解 DVC 的設定，包括安裝、初始化版本庫，以及使用 .dvcignore 檔案。接著會帶你探索 DVC 的快取與暫存檔，學會如何加入與移除檔案、管理快取，並透過 MD5 雜湊理解其底層機制。此章也會說明 DVC 遠端儲存，並與 Git 遠端加以區分，指引你如何新增、列出與修改遠端設定。最後，你將學會如何與這些遠端互動：推送與拉取資料、切換特定版本，以及將資料擷取到快取中。

DVC 設定與初始化

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

設定 DVC

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore 規則

DVC 快取與暫存檔案

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


操作 DVC Cache

理解 .dvc 檔案

設定 DVC 遠端

DVC Remotes 的用途

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

設定 DVC Remote

與 DVC 遠端互動

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

使用 DVC Remote 進行資料版控

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

切換版本化資料

DVC 設定與資料管理

本章聚焦於使用 DVC 自動化 ML 工作流程。你會建立一個包含設定與超參數的組態檔，並學習用有向無環圖來視覺化工作流程，利用指令描述相依性、指令與輸出。內容也涵蓋 DVC 工作流程的執行，包括在本機進行模型訓練，以及 Git 如何追蹤 DVC 中繼資料。此外，你將探索 DVC 的指標與圖表追蹤功能，包括如何列印指標、建立圖表檔，並在不同工作流程階段之間比較指標與圖表。

程式碼組織與重構

理解 DVC 中的參數檔

撰寫參數檔

撰寫並視覺化 DVC pipeline

設計一個 DVC pipeline

視覺化 DVC pipeline

執行 DVC pipelines

DVC pipeline 執行觀念

執行一個 ML 模型訓練 pipeline

評估：DVC 中的指標與圖表

追蹤 DVC 指標（metrics）

在 dvc.yaml 中加入圖表

恭喜你！

DVC 中的工作流程（Pipelines）

深入認識 Data Version Control（DVC），這是一套用來管理與版本控管機器學習資料的工具。你會探討它在 ML 生命週期中的角色，分辨資料版本控管與程式碼版本控管的差異，並檢視 DVC 的功能與常見情境。你將學會 DVC 的安裝與設定，包括快取管理與遠端儲存，並了解它在 CI/CD、實驗追蹤與工作流程（pipelines）中的應用。自動化 ML 工作流程，強調程式碼模組化，並實作高效率的執行。最後，以模型評估作結，學習在 DVC 中追蹤評估指標，做出更有根據的決策。


本課程全面介紹 Data Version Control (DVC)，這是一款專為高效管理與版本控制機器學習資料而設計的工具。 您將了解機器學習產品的生命週期，區分資料版本控制與程式碼版本控制，並深入探索 DVC 的功能與應用情境。

<h2>探索 DVC 功能</h2>
您將了解資料版本控制的動機、機器學習生命週期，以及 DVC 的獨特功能與應用情境。 您還將學習 DVC 的設定，包括安裝、儲存庫初始化，以及 .dvcignore 檔案的相關內容。 您將深入探索 DVC 快取與暫存檔案，學習如何新增與移除檔案、管理快取，並了解其背後的運作機制。 您將學習 DVC 遠端、說明 DVC 與 Git 遠端的區別，新增遠端、列出遠端，並進行修改。 您將學習如何與遠端互動、推送與拉取資料、檢出特定版本，以及將資料擷取到快取中。

<h2>自動化與評估</h2>
您將會受到啟發，自動化機器學習流程，強調程式碼的模組化以及建立設定檔。 您將學習如何將 DVC pipeline 視為有向無環圖，並親自操作，新增各個階段及其輸入與輸出。 您將實際操作這些流程，以高效執行並支援各種機器學習模型訓練的應用情境。 本課程最後將重點放在評估，展示如何在 DVC 中追蹤指標與圖表。

Supervised Learning with scikit-learn

Introduction to Git

探索資料版本控制以管理機器學習數據，掌握設置、自動化流程並無縫評估模型。

使用 DVC 進行資料版本控管入門

掌握 Data Version Control，優化 ML 資料管理。 精通設置、自動化流程，輕鬆評估模型。

DVC 設定與初始化

Create Your Free Account