Wersjonowanie danych za pomocą zdalnego repozytorium DVC

W tym ćwiczeniu w edytorze przećwiczysz wersjonowanie zbiorów danych i przesyłanie ich do zdalnego repozytorium DVC. Wersjonowanie i przechowywanie danych to podstawowa wartość, jaką oferuje DVC. Poznasz mechanizm współpracy między Git a DVC, który to umożliwia. Zbiór danych, z którym będziesz pracować, to dane pogodowe wykorzystywane do prognozowania opadów deszczu na podstawie warunków atmosferycznych.

DVC zostało już zainicjalizowane, skonfigurowano lokalne zdalne repozytorium w /tmp/dvc i dodano wstępny commit.

To ćwiczenie jest częścią kursu

Wprowadzenie do wersjonowania danych z DVC

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Wprowadzenie do wersjonowania danych z DVC

SkillTag.level.intermediateSkillTag.label

4.8+

401 reviews

Rozpocznij kurs za darmo

Ten rozdział to kompleksowe wprowadzenie do Data Version Control (DVC) – narzędzia niezbędnego do wersjonowania danych w uczeniu maszynowym. Poznasz motywację stojącą za wersjonowaniem danych, zrozumiesz różnice między wersjonowaniem danych a wersjonowaniem kodu i przećwiczysz prosty problem klasyfikacji. Zapoznasz się z podstawowymi poleceniami Git, dowiesz się, czym jest DVC, i przećwiczysz konfigurację repozytorium. Rozdział kończy się omówieniem funkcji i zastosowań DVC, w tym wersjonowania danych i modeli, CI/CD dla uczenia maszynowego, śledzenia eksperymentów, potoków przetwarzania i wielu innych.

Exercise 1: Motywacja do wersjonowania danych Exercise 2: Anatomia modelu uczenia maszynowego Exercise 3: Różnice między wersjonowaniem danych a wersjonowaniem kodu Exercise 4: Czym są hiperparametry?Exercise 5: Wprowadzenie do DVC Exercise 6: Praca z Git CLI Exercise 7: Przegląd interfejsu CLI DVC Exercise 8: Funkcje i zastosowania DVC Exercise 9: Potoki DVC Exercise 10: CI/CD w uczeniu maszynowym

Ten rozdział poświęcony jest konfiguracji DVC – obejmuje instalację, inicjalizację repozytorium oraz korzystanie z pliku .dvcignore. Następnie omawia pamięć podręczną DVC i tymczasowe pliki: dowiesz się, jak dodawać i usuwać pliki, zarządzać pamięcią podręczną oraz jak działa mechanizm skrótu MD5. Rozdział wyjaśnia też, czym są zdalne repozytoria DVC i czym różnią się od zdalnych repozytoriów Git – nauczysz się je dodawać, wyświetlać i modyfikować. Na koniec poznasz sposoby interakcji z tymi repozytoriami: przesyłanie i pobieranie danych, przełączanie się między wersjami oraz pobieranie danych do pamięci podręcznej.

Exercise 1: Konfiguracja i inicjalizacja DVC Exercise 2: Konfiguracja DVC Exercise 3: Wzorce w pliku .dvcignore Exercise 4: Pamięć podręczna DVC i pliki tymczasowe Exercise 5: Praca z pamięcią podręczną DVC Exercise 6: Czym są pliki .dvc Exercise 7: Konfigurowanie zdalnych repozytoriów DVC Exercise 8: Rola zdalnych repozytoriów DVC Exercise 9: Konfiguracja zdalnego repozytorium DVC Exercise 10: Interakcja ze zdalnymi repozytoriami DVC Exercise 11: Wersjonowanie danych za pomocą zdalnego repozytorium DVC

Bieżące ćwiczenie

Exercise 12: Przywracanie wersji danych

Ten rozdział koncentruje się na automatyzacji potoków ML przy użyciu DVC. Nauczysz się tworzyć pliki konfiguracyjne zawierające ustawienia i hiperparametry. Poznasz wizualizację potoków za pomocą skierowanych grafów acyklicznych oraz polecenia opisujące zależności, instrukcje i wyniki. Omówione zostanie też uruchamianie potoków DVC, lokalny trening modeli i sposób, w jaki Git śledzi metadane DVC. Dodatkowo zajmiesz się śledzeniem metryk i wykresów w DVC – nauczysz się wyświetlać metryki, tworzyć pliki z wykresami oraz porównywać metryki i wykresy między różnymi etapami potoku.

Exercise 1: Organizacja kodu i refaktoryzacja Exercise 2: Pliki parametrów w DVC Exercise 3: Tworzenie pliku parametrów Exercise 4: Tworzenie i wizualizacja potoków DVC Exercise 5: Projektowanie potoku DVC Exercise 6: Wizualizacja potoku DVC Exercise 7: Uruchamianie potoków DVC Exercise 8: Koncepcje wykonywania potoków DVC Exercise 9: Uruchamianie potoku trenowania modelu uczenia maszynowego Exercise 10: Ewaluacja: metryki i wykresy w DVC Exercise 11: Śledzenie metryk w DVC Exercise 12: Dodawanie wykresów do dvc.yaml Exercise 13: Gratulacje!