Ten rozdział to kompleksowe wprowadzenie do Data Version Control (DVC) – narzędzia niezbędnego do wersjonowania danych w uczeniu maszynowym. Poznasz motywację stojącą za wersjonowaniem danych, zrozumiesz różnice między wersjonowaniem danych a wersjonowaniem kodu i przećwiczysz prosty problem klasyfikacji. Zapoznasz się z podstawowymi poleceniami Git, dowiesz się, czym jest DVC, i przećwiczysz konfigurację repozytorium. Rozdział kończy się omówieniem funkcji i zastosowań DVC, w tym wersjonowania danych i modeli, CI/CD dla uczenia maszynowego, śledzenia eksperymentów, potoków przetwarzania i wielu innych.

Motywacja do wersjonowania danych

Anatomia modelu uczenia maszynowego

Różnice między wersjonowaniem danych a wersjonowaniem kodu

Czym są hiperparametry?

Wprowadzenie do DVC

Praca z Git CLI

Przegląd interfejsu CLI DVC

Funkcje i zastosowania DVC

Potoki DVC

CI/CD w uczeniu maszynowym

Ten rozdział poświęcony jest konfiguracji DVC – obejmuje instalację, inicjalizację repozytorium oraz korzystanie z pliku .dvcignore. Następnie omawia pamięć podręczną DVC i tymczasowe pliki: dowiesz się, jak dodawać i usuwać pliki, zarządzać pamięcią podręczną oraz jak działa mechanizm skrótu MD5. Rozdział wyjaśnia też, czym są zdalne repozytoria DVC i czym różnią się od zdalnych repozytoriów Git – nauczysz się je dodawać, wyświetlać i modyfikować. Na koniec poznasz sposoby interakcji z tymi repozytoriami: przesyłanie i pobieranie danych, przełączanie się między wersjami oraz pobieranie danych do pamięci podręcznej.

Konfiguracja i inicjalizacja DVC

Konfiguracja DVC

Wzorce w pliku .dvcignore

Pamięć podręczna DVC i pliki tymczasowe

Praca z pamięcią podręczną DVC

Czym są pliki .dvc

Konfigurowanie zdalnych repozytoriów DVC

Rola zdalnych repozytoriów DVC

Konfiguracja zdalnego repozytorium DVC

Interakcja ze zdalnymi repozytoriami DVC

Wersjonowanie danych za pomocą zdalnego repozytorium DVC

Przywracanie wersji danych

Konfiguracja DVC i zarządzanie danymi

Ten rozdział koncentruje się na automatyzacji potoków ML przy użyciu DVC. Nauczysz się tworzyć pliki konfiguracyjne zawierające ustawienia i hiperparametry. Poznasz wizualizację potoków za pomocą skierowanych grafów acyklicznych oraz polecenia opisujące zależności, instrukcje i wyniki. Omówione zostanie też uruchamianie potoków DVC, lokalny trening modeli i sposób, w jaki Git śledzi metadane DVC. Dodatkowo zajmiesz się śledzeniem metryk i wykresów w DVC – nauczysz się wyświetlać metryki, tworzyć pliki z wykresami oraz porównywać metryki i wykresy między różnymi etapami potoku.

Organizacja kodu i refaktoryzacja

Pliki parametrów w DVC

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - ____
  # Add RainTomorrow as target column
  target_column: ____
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: ____
    max_depth: 2
    random_state: 42
  

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - Date
  # Add RainTomorrow as target column
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

Tworzenie pliku parametrów

Tworzenie i wizualizacja potoków DVC

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
____ \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
____ \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
____ \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
-o processed_data.csv \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
-p split \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
-d model.pkl \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

stages:
  preprocess_stage:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split_stage:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train_stage:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate_stage:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


Projektowanie potoku DVC

stages:
  preprocess:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


Wizualizacja potoku DVC

Uruchamianie potoków DVC

Opcje

Prawda

Fałsz

Koncepcje wykonywania potoków DVC

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - metrics.json
    - confusion_matrix.png


schema: '2.0'
stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - path: preprocess_dataset.py
      md5: c4a584bed44aaee9e5e5d73974d974f8
      size: 4499
    - path: raw_dataset/weather.csv
      md5: e602b116f50269aa781c0c910cd80db9
      size: 2701130
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        preprocess:
          drop_colnames:
          - Date
          target_column: RainTomorrow
          categorical_features:
          - Location
          - WindGustDir
          - WindDir9am
          - WindDir3pm
          - RainToday
    outs:
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - path: metrics_and_plots.py
      md5: f3db712083b5c84677d41948f71c54d2
      size: 1658
    - path: model.py
      md5: 928da86a0d41e4543ad5c10034dcebc9
      size: 1615
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
    - path: train_and_evaluate.py
      md5: 9c7bb633a92451eda26df183ef4db7e8
      size: 2351
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        train_and_evaluate:
          target_column: RainTomorrow
          train_test_split:
            test_size: 0.2
            random_state: 1993
          shuffle: true
          shuffle_random_state: 1993
          rfc_params:
            n_estimators: 2
            max_depth: 2
            random_state: 42
    outs:
    - path: confusion_matrix.png
      md5: fb816ca1280172bfad3988402cc23902
      size: 17433
    - path: metrics.json
      md5: 1309f5092ba8d530648a071216f62452
      size: 78


Uruchamianie potoku trenowania modelu uczenia maszynowego

Ewaluacja: metryki i wykresy w DVC

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    - predictions.csv
    metrics:
      - metrics.json:
          cache: false

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 3
    max_depth: 2
    random_state: 42

Śledzenie metryk w DVC

stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - ____:
          # Write the plot template
          template: ____
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: ____
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - predictions.csv:
          # Write the plot template
          template: confusion
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: false
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


Dodawanie wykresów do dvc.yaml

Gratulacje!

Potoki w DVC

Poznaj Data Version Control (DVC) – narzędzie do zarządzania danymi i ich wersjonowania w uczeniu maszynowym. Dowiedz się, jaką rolę odgrywa DVC w cyklu życia modeli ML, czym różni się wersjonowanie danych od wersjonowania kodu, oraz jakie funkcje i zastosowania oferuje DVC. Naucz się konfigurować DVC, zarządzać pamięcią podręczną i zdalnymi repozytoriami, a także poznaj jego zastosowania w CI/CD, śledzeniu eksperymentów i potokach przetwarzania. Automatyzuj potoki ML z naciskiem na modularyzację kodu i efektywne ich uruchamianie. Na koniec zajmij się oceną modeli i śledzeniem metryk w DVC, które wspierają świadome podejmowanie decyzji.


Ten kurs oferuje kompleksowe wprowadzenie do Data Version Control (DVC), narzędzia zaprojektowanego do efektywnego zarządzania danymi do uczenia maszynowego oraz ich wersjonowania. Zdobędziesz zrozumienie cyklu życia produktu machine learning, poznasz różnice między wersjonowaniem danych a wersjonowaniem kodu oraz odkryjesz funkcje i zastosowania DVC.

<h2>Poznawanie funkcji DVC</h2>
Zrozumiesz motywacje stojące za wersjonowaniem danych, cyklem życia uczenia maszynowego oraz unikalnymi funkcjami i zastosowaniami DVC. Dowiesz się również o konfiguracji DVC, obejmującej instalację, inicjalizację repozytorium oraz plik .dvcignore. Poznasz pamięć podręczną DVC i pliki stagingowe, nauczysz się dodawać i usuwać pliki, zarządzać pamięciami podręcznymi oraz zrozumiesz mechanizmy, które za tym stoją. Nauczysz się o zdalnych repozytoriach DVC, wyjaśnisz różnicę między zdalnymi repozytoriami DVC a Git, dodasz zdalne repozytoria, wyświetlisz ich listę i zmodyfikujesz je. Nauczysz się pracować z repozytoriami zdalnymi, wysyłać i pobierać dane, sprawdzać konkretne wersje oraz pobierać dane do pamięci podręcznej.

<h2>Automatyzuj i oceniaj</h2>
Będziesz zmotywowany do automatyzacji potoków ML, ze szczególnym naciskiem na modularizację kodu i tworzenie pliku konfiguracyjnego. Zostaniesz wprowadzony do potoków DVC jako skierowanych grafów acyklicznych, z praktycznym doświadczeniem w dodawaniu etapów oraz ich danych wejściowych i wyjściowych. Będziesz ćwiczyć efektywne wykonywanie tych potoków, aby umożliwić różne zastosowania w trenowaniu modeli uczenia maszynowego. Kurs kończy się skupieniem na ewaluacji, pokazując, jak metryki i wykresy są śledzone w DVC.

Supervised Learning with scikit-learn

Introduction to Git

Poznaj DVC do zarządzania danymi ML. Opanuj konfigurację, automatyzuj procesy i oceniaj modele.

Wprowadzenie do wersjonowania danych z DVC

Poznaj Data Version Control do zarządzania danymi ML. Opanuj konfigurację, automatyzuj pipeline’y i oceniaj modele bezproblemowo.

Uruchamianie potoków DVC

Create Your Free Account