Bab ini memberikan pengantar komprehensif tentang Data Version Control (DVC), alat penting untuk versioning data dalam machine learning. Anda akan mengeksplorasi motivasi di balik versioning data, memahami perbedaannya dengan versioning kode, dan mencoba masalah klasifikasi sederhana. Anda akan meninjau perintah Git dasar, mempelajari DVC, dan berlatih menyiapkan repositori. Bab ini diakhiri dengan ikhtisar fitur dan kasus penggunaan DVC, termasuk versioning data dan model, CI/CD untuk machine learning, pelacakan eksperimen, pipeline, dan lainnya.

Motivasi Versioning Data

Anatomi Model Machine Learning

Perbedaan antara Versioning Data dan Kode

Memahami Hiperparameter

Pengenalan DVC

Bekerja dengan Git CLI

Tinjau DVC CLI

Fitur DVC dan kasus penggunaan

Pipeline DVC

CI/CD untuk machine learning

Pengantar DVC

Bab ini membahas penyiapan DVC, mencakup aspek seperti instalasi, inisialisasi repositori, dan penggunaan berkas .dvcignore. Bab ini juga mengulas eksplorasi cache DVC dan berkas staging, memberikan pemahaman tentang cara menambahkan dan menghapus berkas, mengelola cache, serta memahami mekanisme dasarnya menggunakan hash MD5. Bab ini juga menjelaskan DVC remote, membedakannya dari Git remote, dan memandu Anda cara menambah, menampilkan daftar, dan memodifikasinya. Terakhir, Anda akan mempelajari cara berinteraksi dengan remote tersebut dengan melakukan push dan pull data, checkout versi tertentu, serta fetch data ke cache.

Penyiapan dan Inisialisasi DVC

Menyiapkan DVC

.dvcignore Patterns

Cache DVC dan Berkas Staging

Bekerja dengan DVC Cache

Memahami Berkas .dvc

Mengonfigurasi Remote DVC

Tujuan DVC Remotes

Menyiapkan DVC Remote

Berinteraksi dengan DVC Remote

Versioning Data menggunakan DVC Remote

Melakukan Checkout Data yang Berversi

Konfigurasi DVC dan Manajemen Data

Bab ini berfokus pada otomasi pipeline ML menggunakan DVC. Anda akan membuat berkas konfigurasi yang berisi pengaturan dan hiperparameter. Anda juga mempelajari visualisasi pipeline menggunakan directed acyclic graph dan menggunakan perintah untuk mendeskripsikan dependensi, perintah, dan keluaran. Eksekusi pipeline DVC dibahas, termasuk pelatihan model lokal dan bagaimana Git melacak metadata DVC. Selain itu, Anda akan mengeksplorasi pelacakan metrik dan plot di DVC, termasuk cara menampilkan metrik, membuat berkas plot, serta membandingkan metrik dan plot di berbagai tahap pipeline.

Organisasi kode dan refaktorisasi

Memahami berkas parameter di DVC

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - ____
  # Add RainTomorrow as target column
  target_column: ____
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: ____
    max_depth: 2
    random_state: 42
  

preprocess:
  # Add Date as a column to drop
  drop_colnames:
    - Date
  # Add RainTomorrow as target column
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  # Add 2 as number of estimators for rfc classifier
  rfc_params:
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

Tulis sebuah berkas parameter

Menulis dan memvisualisasikan pipeline DVC

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
____ \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
____ \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
____ \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

#!/bin/bash

# Preprocess stage
# Output is processed_data.csv
dvc stage add --force \
-n preprocess_stage \
-p preprocess \
-d raw_data.csv \
-d preprocess.py \
-o processed_data.csv \
python3 preprocess.py


# Split stage
# This stage uses parameters from `split` section of params.yaml
dvc stage add --force \
-n split_stage \
-p split \
-d processed_data.csv \
-d split.py \
-o train_data.csv \
-o eval_data.csv \
python3 split.py


# Train stage
# This stage generates model.pkl as output
dvc stage add --force \
-n train_stage \
-p train \
-d train_data.csv \
-d train.py \
-o model.pkl \
python3 train.py


# Evaluate stage
# This stage uses model.pkl as one of the input
dvc stage add --force \
-n evaluate_stage \
-p evaluate \
-d eval_data.csv \
-d model.pkl \
-d evaluate.py \
-o metrics.json \
python3 evaluate.py

stages:
  preprocess_stage:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split_stage:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train_stage:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate_stage:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


Merancang pipeline DVC

stages:
  preprocess:
    cmd: python3 preprocess.py
    deps:
    - preprocess.py
    - raw_data.csv
    params:
    - preprocess
    outs:
    - processed_data.csv
  split:
    cmd: python3 split.py
    deps:
    - processed_data.csv
    - split.py
    params:
    - split
    outs:
    - eval_data.csv
    - train_data.csv
  train:
    cmd: python3 train.py
    deps:
    - train.py
    - train_data.csv
    params:
    - train
    outs:
    - model.pkl
  evaluate:
    cmd: python3 evaluate.py
    deps:
    - eval_data.csv
    - evaluate.py
    - model.pkl
    params:
    - evaluate
    outs:
    - metrics.json


Memvisualisasikan pipeline DVC

Menjalankan pipeline DVC

Options

True

False

Konsep eksekusi pipeline DVC

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - metrics.json
    - confusion_matrix.png


schema: '2.0'
stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - path: preprocess_dataset.py
      md5: c4a584bed44aaee9e5e5d73974d974f8
      size: 4499
    - path: raw_dataset/weather.csv
      md5: e602b116f50269aa781c0c910cd80db9
      size: 2701130
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        preprocess:
          drop_colnames:
          - Date
          target_column: RainTomorrow
          categorical_features:
          - Location
          - WindGustDir
          - WindDir9am
          - WindDir3pm
          - RainToday
    outs:
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - path: metrics_and_plots.py
      md5: f3db712083b5c84677d41948f71c54d2
      size: 1658
    - path: model.py
      md5: 928da86a0d41e4543ad5c10034dcebc9
      size: 1615
    - path: processed_dataset/weather.csv
      md5: 1dea080f8f73483cabd710f788ba0143
      size: 10501985
    - path: train_and_evaluate.py
      md5: 9c7bb633a92451eda26df183ef4db7e8
      size: 2351
    - path: utils_and_constants.py
      md5: 188614911c472f6b55ebe8b3ff3a0192
      size: 1016
    params:
      params.yaml:
        train_and_evaluate:
          target_column: RainTomorrow
          train_test_split:
            test_size: 0.2
            random_state: 1993
          shuffle: true
          shuffle_random_state: 1993
          rfc_params:
            n_estimators: 2
            max_depth: 2
            random_state: 42
    outs:
    - path: confusion_matrix.png
      md5: fb816ca1280172bfad3988402cc23902
      size: 17433
    - path: metrics.json
      md5: 1309f5092ba8d530648a071216f62452
      size: 78


Menjalankan pipeline pelatihan model ML

Evaluasi: Metrik dan plot di DVC

stages:
  preprocess:
    # Run the data preprocessing script
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    # Run the model training and evaluation script
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    deps:
    - metrics_and_plots.py
    - model.py
    # Specify the preprocessed dataset as a dependency
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    - predictions.csv
    metrics:
      - metrics.json:
          cache: false

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 2
    max_depth: 2
    random_state: 42
  

preprocess:
  drop_colnames:
    - Date
  target_column: RainTomorrow
  categorical_features:
    - Location
    - WindGustDir
    - WindDir9am
    - WindDir3pm
    - RainToday
train_and_evaluate:
  target_column: RainTomorrow
  train_test_split:
    test_size: 0.2
    random_state: 1993
  shuffle: true
  shuffle_random_state: 1993
  rfc_params:
    # Change number of estimators to 3
    n_estimators: 3
    max_depth: 2
    random_state: 42

Melacak Metrik DVC

stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - ____:
          # Write the plot template
          template: ____
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: ____
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


stages:
  preprocess:
    cmd: python3 preprocess_dataset.py params.yaml raw_dataset/weather.csv processed_dataset/weather.csv
    deps:
    - preprocess_dataset.py
    - raw_dataset/weather.csv
    - utils_and_constants.py
    params:
    - preprocess
    outs:
    - processed_dataset/weather.csv
  train_and_evaluate:
    cmd: python3 train_and_evaluate.py params.yaml processed_dataset/weather.csv
    plots:
      # Set the target to the file containing predictions data
      - predictions.csv:
          # Write the plot template
          template: confusion
          x: predicted_label
          y: true_label
          x_label: 'Predicted label'
          y_label: 'True label'
          title: Confusion matrix
          # Set the cache parameter to store
          # plot data in Git repository
          cache: false
    deps:
    - metrics_and_plots.py
    - model.py
    - processed_dataset/weather.csv
    - train_and_evaluate.py
    - utils_and_constants.py
    params:
    - train_and_evaluate
    outs:
    - confusion_matrix.png
    metrics:
      - metrics.json:
          cache: false


Menambahkan plot ke dvc.yaml

Selamat!

Pipeline di DVC

Jelajahi Data Version Control (DVC), alat untuk mengelola dan melakukan versioning data ML. Pelajari perannya dalam siklus hidup ML, bedakan versioning data dari versioning kode, dan tinjau fitur serta kasus penggunaan DVC. Pelajari penyiapan DVC, termasuk manajemen cache dan remotes, serta temukan penerapannya dalam CI/CD, pelacakan eksperimen, dan pipeline. Otomatiskan pipeline ML dengan menekankan modularisasi kode, dan latih cara mengeksekusinya secara efisien. Akhiri dengan evaluasi model, mengeksplorasi pelacakan metrik di DVC untuk pengambilan keputusan yang lebih baik.



Kursus ini memberikan pengenalan komprehensif tentang Data Version Control (DVC), sebuah alat yang dirancang untuk pengelolaan dan penomoran versi data machine learning secara efisien. Anda akan memahami siklus hidup produk machine learning, membedakan versi data dari versi kode, dan menjelajahi fitur-fitur DVC serta kasus penggunaannya.

<h2>Menjelajahi fitur DVC</h2>
Anda akan memahami motivasi di balik versi data, siklus hidup pembelajaran mesin, serta fitur unik dan kasus penggunaan DVC. Anda juga akan mempelajari tentang pengaturan DVC, termasuk instalasi, inisialisasi repositori, dan berkas .dvcignore. Anda akan menjelajahi file cache dan staging DVC, belajar cara menambahkan dan menghapus file, mengelola cache, serta memahami mekanisme dasarnya. Anda akan mempelajari tentang remote DVC, menjelaskan perbedaan antara remote DVC dan Git, menambahkan remote, menampilkan daftar remote, dan memodifikasi remote. Anda akan belajar berinteraksi dengan remote, mengirim dan menerima data, memeriksa versi tertentu, dan mengambil data ke cache.

<h2>Otomatisasi dan evaluasi</h2>
Anda akan termotivasi untuk mengotomatisasi alur kerja ML, dengan menekankan pada modularisasi kode dan pembuatan berkas konfigurasi. Anda akan diperkenalkan pada DVC pipelines sebagai grafik acyclic terarah, dengan pengalaman praktis dalam menambahkan tahap-tahap dan masukan serta keluaran mereka. Anda akan berlatih mengimplementasikan pipeline-pipeline ini secara efisien untuk mendukung berbagai kasus penggunaan dalam pelatihan model machine learning. Kursus ini diakhiri dengan fokus pada evaluasi, menampilkan cara metrik dan grafik dilacak di DVC.

Supervised Learning with scikit-learn

Introduction to Git

Jelajahi Data Version Control untuk manajemen data ML. Kuasai pengaturan, otomatisasi, dan evaluasi model.

Pengantar Versioning Data dengan DVC

Jelajahi Pengendalian Versi Data untuk Pengelolaan Data ML. Atur pengaturan utama, otomatisasi alur kerja, dan evaluasi model dengan lancar.

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

Untuk menjalankan pipeline DVC secara paksa, kita menggunakan flag `-f` saat mengeksekusinya.

Caching dapat dimanfaatkan untuk mengeksekusi target yang saling independen secara paralel.

Beberapa file `dvc.yaml` dalam satu folder diizinkan.

Eksekusi paksa sebuah pipeline melewati langkah jika keluarannya sudah ada.

Konsep eksekusi pipeline DVC

Pengantar Versioning Data dengan DVC

Latihan interaktif langsung