Det här kapitlet ger en grundlig introduktion till Data Version Control (DVC), ett verktyg som är centralt för dataversionshantering inom maskininlärning. Du utforskar motivationen bakom dataversionshantering, förstår skillnaderna jämfört med kodversionshantering och experimenterar med ett enkelt klassificeringsproblem. Du repeterar grundläggande Git-kommandon, lär dig om DVC och övar på att sätta upp ett repository. Kapitlet avslutas med en översikt av DVC:s funktioner och användningsområden, däribland versionshantering av data och modeller, CI/CD för maskininlärning, experimentspårning, pipelines och mer därtill.

Motivation till dataversionshantering

Anatomi hos en maskininlärningsmodell

Skillnader mellan data- och kodversionering

Förstå hyperparametrar

Introduktion till DVC

Arbeta med Git CLI

Utforska DVC CLI

DVC:s funktioner och användningsområden

DVC-pipelines

CI/CD för maskininlärning

Det här kapitlet går på djupet med konfigurationen av DVC och täcker installation, initiering av repository och användning av filen .dvcignore. Du utforskar DVC-cachen och hur filer mellanlagras, och lär dig lägga till och ta bort filer, hantera cachen samt förstå de underliggande mekanismerna med hjälp av MD5-hash. Kapitlet förklarar också DVC-fjärrkällor, hur de skiljer sig från Git-fjärrkällor, och visar hur du lägger till, listar och ändrar dem. Avslutningsvis lär du dig interagera med fjärrkällorna genom att pusha och hämta data, checka ut specifika versioner och hämta data till cachen.

DVC-installation och initiering

Konfigurera DVC

.dvcignore-mönster

DVC-cache och iscensättning av filer

Arbeta med DVC-cache

Förstå .dvc-filer

Konfigurera DVC-fjärrlagring

DVC-remotes syfte

Konfigurera en DVC-remote

Interagera med DVC-fjärrkällor

Versionera data med DVC Remote

Hämta versionerad data

DVC-konfiguration och datahantering

Det här kapitlet fokuserar på att automatisera ML-pipelines med DVC. Du skapar en konfigurationsfil med inställningar och hyperparametrar, och lär dig visualisera pipelines med hjälp av riktade acykliska grafer samt använda kommandon för att beskriva beroenden, kommandon och utdata. Du lär dig också köra DVC-pipelines, inklusive lokal modellträning och hur Git spårar DVC-metadata. Dessutom utforskar du spårning av mätvärden och diagram i DVC – hur du skriver ut mätvärden, skapar diagramfiler och jämför mätvärden och diagram mellan olika steg i pipelinen.

Kodorganisation och refaktorering

Förstå parameterfiler i DVC

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - ____
  # Add RainTomorrow as target column
  target_column: ____
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: ____
    max_depth: 2
    random_state: 42
  

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - Date
  # Add RainTomorrow as target column
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

Skriv en parameterfil

Att skriva och visualisera DVC-pipelines

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
____ \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
____ \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
____ \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
-o processed_data.csv \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
-p split \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
-d model.pkl \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

stages:
  preprocess_stage:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split_stage:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train_stage:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate_stage:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


Designa en DVC-pipeline

stages:
  preprocess:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


Visualisera en DVC-pipeline

Köra DVC-pipelines

Alternativ

Sant

Falskt

Koncept för körning av DVC-pipelines

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - metrics.json
    - confusion_matrix.png


schema: '2.0'
stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - path: preprocess_dataset.py
      md5: c4a584bed44aaee9e5e5d73974d974f8
      size: 4499
    - path: raw_dataset/weather.csv
      md5: e602b116f50269aa781c0c910cd80db9
      size: 2701130
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        preprocess:
          drop_colnames:
          - Date
          target_column: RainTomorrow
          categorical_features:
          - Location
          - WindGustDir
          - WindDir9am
          - WindDir3pm
          - RainToday
    outs:
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - path: metrics_and_plots.py
      md5: f3db712083b5c84677d41948f71c54d2
      size: 1658
    - path: model.py
      md5: 928da86a0d41e4543ad5c10034dcebc9
      size: 1615
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
    - path: train_and_evaluate.py
      md5: 9c7bb633a92451eda26df183ef4db7e8
      size: 2351
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        train_and_evaluate:
          target_column: RainTomorrow
          train_test_split:
            test_size: 0.2
            random_state: 1993
          shuffle: true
          shuffle_random_state: 1993
          rfc_params:
            n_estimators: 2
            max_depth: 2
            random_state: 42
    outs:
    - path: confusion_matrix.png
      md5: fb816ca1280172bfad3988402cc23902
      size: 17433
    - path: metrics.json
      md5: 1309f5092ba8d530648a071216f62452
      size: 78


Kör en träningspipeline för en ML-modell

Utvärdering: Mätvärden och diagram i DVC

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    - predictions.csv
    metrics:
      - metrics.json:
          cache: false

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 3
    max_depth: 2
    random_state: 42

Spåra DVC-mätvärden

stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - ____:
          # Write the plot template
          template: ____
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: ____
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - predictions.csv:
          # Write the plot template
          template: confusion
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: false
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


Lägga till plottar i dvc.yaml

Grattis!

Pipelines i DVC

Utforska Data Version Control (DVC), ett verktyg för att hantera och versionera ML-data. Lär dig om dess roll i ML-livscykeln, skillnaden mellan dataversionshantering och kodversionshantering samt DVC:s funktioner och användningsområden. Lär dig konfigurera DVC, inklusive cachehantering och fjärrlagring, och upptäck hur verktyget används i CI/CD, experimentspårning och pipelines. Automatisera ML-pipelines med fokus på kodmodularisering och träna på att köra dem effektivt. Avsluta med modellutvärdering och lär dig spåra mätvärden i DVC för välgrundade beslut.


Den här kursen ger en omfattande introduktion till Data Version Control (DVC), ett verktyg som är utformat för effektiv hantering och versionskontroll av data för maskininlärning. Du får en förståelse för maskininlärningsproduktens livscykel, lär dig skilja på dataversionering och kodversionering samt utforskar DVC:s funktioner och användningsområden.

<h2>Utforska DVC-funktioner</h2>
Du kommer att förstå motiven bakom dataversionering, maskininlärningslivscykeln och DVC:s unika funktioner och användningsområden. Du kommer också att lära dig om DVC-konfiguration, inklusive installation, initiering av repository och filen .dvcignore. Du kommer att utforska DVC-cache och staging-filer, lära dig att lägga till och ta bort filer, hantera cacheminnen och förstå de underliggande mekanismerna. Du kommer att lära dig om DVC-fjärrlagringar, förklara skillnaden mellan DVC- och Git-fjärrlagringar, lägga till fjärrlagringar, lista dem och ändra dem. Du kommer att lära dig att interagera med fjärrarkiv, pusha och pulla data, checka ut specifika versioner och hämta data till cachen.

<h2>Automatisera och utvärdera</h2>
Du kommer att motiveras att automatisera ML-pipelines, med fokus på modulär kodstruktur och skapandet av en konfigurationsfil. Du kommer att introduceras till DVC-pipelines som riktade acykliska grafer, med praktisk erfarenhet av att lägga till steg samt deras in- och utdata. Du kommer att öva på att köra dessa pipelines effektivt för att möjliggöra olika användningsområden inom träning av maskininlärningsmodeller. Kursen avslutas med fokus på utvärdering och visar hur mätvärden och diagram spåras i DVC.

Supervised Learning with scikit-learn

Introduction to Git

Utforska Data Version Control för ML-datahantering. Automatisera pipelines och utvärdera modeller enkelt.

Introduktion till dataversionshantering med DVC

Utforska Data Version Control för hantering av ML-data. Bemästra uppsättning, automatisera pipelines och utvärdera modeller sömlöst.

Grattis!

Create Your Free Account