Tworzenie potoku DVC

Wyobraź sobie prosty przykład przepływu pracy, w którym dokument jest drukowany, a następnie skanowany w celu utworzenia podpisanego pliku PDF – a DVC zarządza zależnościami i wynikami każdego etapu.

Etap print zależy od instrukcji zawartych w pliku print.sh i produkuje wynik pages. Etap scan zależy od instrukcji w scan.sh oraz pages (wyniku drukarki) i produkuje wynik signed.pdf.

Twoim zadaniem jest zaprojektowanie potoku DVC opisującego ten przepływ pracy za pomocą polecenia dvc stage add. Jego składnia wygląda następująco:

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Możesz dodać wiele zależności i wyników, wielokrotnie używając flag -d i -o.

UWAGA: DVC zostało już zainicjalizowane podczas konfiguracji ćwiczenia. Nie ma potrzeby ponownego uruchamiania dvc init.

To ćwiczenie jest częścią kursu

CI/CD dla uczenia maszynowego

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

CI/CD dla uczenia maszynowego

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawowe zasady Continuous Integration/Continuous Delivery (CI/CD) i YAML. Zrozumiesz cykl życia oprogramowania oraz kluczowe terminy: build, test i deploy. Odkryjesz różnice między Continuous Integration, Continuous Delivery i Continuous Deployment. Zbadasz też, jak ważną rolę odgrywa CI/CD w uczeniu maszynowym i eksperymentowaniu.

Exercise 1: Wprowadzenie do Continuous Integration/Continuous Delivery w uczeniu maszynowym Exercise 2: Ciągłe wdrażanie a ciągłe dostarczanie Exercise 3: Przepływ pracy w uczeniu maszynowym Exercise 4: Wprowadzenie do YAML Exercise 5: Składnia YAML Exercise 6: Mapowania i sekwencje w YAML Exercise 7: Wprowadzenie do GitHub Actions Exercise 8: Zastosowanie GitHub Actions Exercise 9: Anatomia GitHub Actions

Poznaj GitHub Actions (GHA) – wszechstronną platformę do wykonywania przepływów pracy CI/CD. Odkryj różnorodne składniki GHA: zdarzenia, akcje, zadania, kroki, runnery i kontekst. Dowiedz się, jak tworzyć przepływy pracy uruchamiane przez zdarzenia takie jak push i pull request, oraz jak dostosowywać maszyny runnerów. Ucz się przez praktykę: skonfiguruj podstawowe potoki CI i zgłęb szczegóły logów GHA.

Exercise 1: YAML średnio zaawansowany Exercise 2: Znajdź właściwą kombinację Exercise 3: Zaprojektuj workflow Continuous Integration Exercise 4: Konfigurowanie podstawowego potoku CI Exercise 5: Interpretowanie workflow GitHub Actions Exercise 6: Napisz przepływ pracy w GitHub Actions Exercise 7: Uruchamianie kodu z repozytorium Exercise 8: Gałęzie funkcji w modelu współdzielonego repozytorium Exercise 9: Uruchamianie kodu Pythona w GitHub Actions Exercise 10: Zmienne środowiskowe i sekrety Exercise 11: Czym jest GITHUB_TOKEN?Exercise 12: Praca ze zmiennymi środowiskowymi Exercise 13: Praca z sekretami

W tym rozdziale poznasz sposób integrowania trenowania modeli uczenia maszynowego z potokiem GitHub Actions przy użyciu akcji Continuous Machine Learning. Nauczysz się generować szczegółowy raport w formacie Markdown zawierający metryki modelu i wykresy. Zajmiesz się też wersjonowaniem danych w uczeniu maszynowym, korzystając z Data Version Control (DVC) do śledzenia zmian w danych. Rozdział obejmuje również konfigurowanie zdalnych repozytoriów DVC i transfer zbiorów danych. Na koniec poznasz potoki DVC i nauczysz się konfigurować plik YAML DVC, aby organizować odtwarzalne trenowanie modeli.

Exercise 1: Trenowanie modeli z GitHub Actions Exercise 2: Budowanie modelu klasyfikacji Exercise 3: Trenowanie modelu klasyfikacji Exercise 4: Konfiguracja trenowania modelu z użyciem CML Exercise 5: Wersjonowanie zbiorów danych z Data Version Control Exercise 6: Do czego potrzebne są pliki .dvc?Exercise 7: Wersjonowanie danych w praktyce Exercise 8: Interakcja z zdalnymi repozytoriami DVC Exercise 9: Korzyści z używania zdalnych repozytoriów DVC Exercise 10: DVC remoty w akcji Exercise 11: Potoki DVC Exercise 12: Tworzenie potoku DVC

Bieżące ćwiczenie

Exercise 13: Trenowanie modeli uczenia maszynowego z DVC

W tym rozdziale skupisz się na analizie wydajności modeli i strojeniu hiperparametrów. Zdobędziesz praktyczne umiejętności porównywania metryk i wizualizacji w różnych gałęziach, aby oceniać zmiany w wydajności modeli. Przeprowadzisz strojenie hiperparametrów za pomocą GridSearchCV z biblioteki scikit-learn. Ponadto zgłębisz automatyzację pull requestów z użyciem optymalnej konfiguracji modelu.

Exercise 1: Porównywanie metryk i wykresów w DVC Exercise 2: Dodawanie metryk i wykresów do dvc.yaml Exercise 3: Porównywanie metryk w różnych gałęziach Git Exercise 4: Uruchamianie potoku DVC w GitHub Actions Exercise 5: Strojenie hiperparametrów z DVC Exercise 6: Dodawanie strojenia hiperparametrów do dvc.yaml Exercise 7: Uruchamianie potoków DVC do strojenia hiperparametrów Exercise 8: Przepływ pracy GitHub Actions do strojenia hiperparametrów Exercise 9: Luźne powiązanie Exercise 10: Konfiguracja strojenia hiperparametrów w GitHub Actions Exercise 11: Gratulacje!