本章将全面介绍 Data Version Control（DVC），这是机器学习中进行数据版本管理的关键工具。您将了解进行数据版本管理的动机，明白它与代码版本管理的差异，并动手体验一个简单的分类问题。您还将回顾 Git 基本命令，认识 DVC，并练习创建与初始化仓库。最后，本章会概览 DVC 的功能与使用场景，包括数据与模型的版本管理、面向机器学习的 CI/CD、实验跟踪、流水线等。

数据版本控制的动机

机器学习模型的结构

数据与代码版本控制的差异

理解超参数

DVC 入门

使用 Git CLI

复习 DVC CLI

DVC 的功能与使用场景

DVC 流水线

机器学习中的 CI/CD

DVC 简介

本章将深入讲解 DVC 的搭建与配置，包括安装、初始化仓库，以及使用 .dvcignore 文件。随后将带您探索 DVC 缓存与暂存文件，学习如何添加与移除文件、管理缓存，并通过 MD5 哈希理解其底层机制。同时，本章还会说明 DVC 的远端（remotes），区分它与 Git 远端的不同，并指导您如何添加、列出与修改远端。最后，您将学习如何与这些远端交互：推送与拉取数据、检出特定版本，以及将数据获取到缓存。

DVC 安装与初始化

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

设置 DVC

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore 模式

DVC 缓存与暂存文件

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


使用 DVC Cache

理解 .dvc 文件

配置 DVC 远程存储

DVC 远程的用途

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

设置 DVC 远程存储

与 DVC 远程交互

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

使用 DVC Remote 进行数据版本管理

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

检出版本化数据

DVC 配置与数据管理

本章聚焦使用 DVC 实现 ML 流水线自动化。您将创建一个包含配置与超参数的配置文件。您还会学习用有向无环图来可视化流水线，并使用命令描述依赖、命令与输出。内容还涵盖 DVC 流水线的执行，包括本地模型训练以及 Git 如何跟踪 DVC 元数据。此外，您将学习在 DVC 中跟踪指标与可视化图，包括如何打印指标、创建图表文件，并在不同流水线阶段比较指标与图表。

代码组织与重构

理解 DVC 中的参数文件

编写参数文件

编写与可视化 DVC 流水线

设计一个 DVC 管道

可视化 DVC 流水线

执行 DVC 流水线

DVC 流水线执行要点

执行一个机器学习模型训练流水线

评估：DVC 中的指标与图表

跟踪 DVC 指标

向 dvc.yaml 添加图表

恭喜您！

DVC 中的流水线

深入学习 Data Version Control（DVC），这是一款用于管理和版本化机器学习数据的工具。您将了解它在 ML 全生命周期中的作用，区分数据版本管理与代码版本管理，并查看 DVC 的功能与典型场景。学习 DVC 的环境搭建，包括缓存管理与远端配置，并了解其在 CI/CD、实验跟踪与流水线中的应用。自动化 ML 流水线，强调代码模块化，并练习高效执行。最后进行模型评估，学习在 DVC 中跟踪指标以支持明智决策。


本课程全面介绍数据版本控制（DVC），这是一款专为高效管理和版本控制机器学习数据而设计的工具。 你将了解机器学习产品生命周期，区分数据版本控制与代码版本控制，并探索 DVC 的功能和使用场景。

<h2>探索 DVC 功能</h2>
您将了解数据版本控制背后的动机、机器学习生命周期，以及 DVC 的独特功能和使用场景。 您还将学习 DVC 设置，涵盖安装、仓库初始化以及 .dvcignore 文件。 您将探索 DVC 缓存和暂存文件，学习添加和移除文件、管理缓存，并了解其底层机制。 您将学习 DVC 远程存储，解释 DVC 远程存储与 Git 远程仓库之间的区别，添加远程存储，列出它们，并对其进行修改。 你将学习如何与远程仓库交互、推送和拉取数据、检出特定版本，以及将数据获取到缓存中。

<h2>自动化与评估</h2>
您将有动力自动化机器学习流水线，重点关注代码模块化和配置文件的创建。 您将了解 DVC 管道作为有向无环图的概念，并通过实践体验添加阶段及其输入和输出。 你将实践高效执行这些流水线，以支持机器学习模型训练中的不同用例。 课程以评估为重点收尾，展示如何在 DVC 中跟踪指标和图表。

Supervised Learning with scikit-learn

Introduction to Git

探索数据版本控制以管理机器学习数据。掌握设置、自动化流程，并无缝评估模型。

DVC 数据版本管理入门

探索用于机器学习数据管理的数据版本控制。 掌握设置，自动化管道，并无缝评估模型。

.dvcignore 模式

DVC 数据版本管理入门

动手互动练习