Erstellen einer DVC-Pipeline

Stell dir ein einfaches Beispiel für einen Workflow vor, bei dem ein Dokument gedruckt und anschließend gescannt wird, um ein unterschriebenes PDF-Dokument zu erstellen – mit DVC zur Verwaltung der Abhängigkeiten und Ausgaben jeder Stufe.

Die Stufe print hängt von den Druckanweisungen in print.sh ab und erzeugt die Ausgabe pages. Die Stufe scan hängt von den Anweisungen in scan.sh und von pages (Ausgabe von printer) ab und erzeugt die Ausgabe signed.pdf.

Deine Aufgabe ist es, eine DVC-Pipeline zu entwerfen, die den Workflow mit dem Befehl dvc stage add beschreibt. Die Syntax lautet

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Du kannst mehrere Abhängigkeiten und Ausgaben hinzufügen, indem du die Flags -d bzw. -o mehrfach verwendest.

HINWEIS: DVC wurde in der Übung bereits initialisiert. Es ist nicht nötig, dvc init erneut auszuführen.

Diese Übung ist Teil des Kurses

CI/CD für Machine Learning

Interaktive Übung

In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.

Diese Übung ist Teil des Kurses

CI/CD für Machine Learning

Hohe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

In diesem Kapitel lernst du die wesentlichen Grundlagen von Continuous Integration/Continuous Delivery (CI/CD) und YAML kennen. Du verstehst den Software Development Life Cycle und zentrale Begriffe wie Build, Test und Deploy. Entdecke die Unterschiede zwischen Continuous Integration, Continuous Delivery und Continuous Deployment. Außerdem untersuchst du die Bedeutung von CI/CD im Machine Learning und bei Experimenten.

Exercise 1: Einführung in Continuous Integration/Continuous Delivery für Machine Learning Exercise 2: Continuous Deployment und Continuous Delivery Exercise 3: Machine-Learning-Workflow Exercise 4: Einführung in YAML Exercise 5: YAML-Syntax Exercise 6: YAML-Zuordnungen und -Sequenzen Exercise 7: Einführung in GitHub Actions Exercise 8: Nutzwert von GitHub Actions Exercise 9: Anatomie von GitHub Actions

Mach dich bereit für GitHub Actions (GHA), eine leistungsfähige Plattform zur Ausführung von CI/CD-Workflows. Entdecke die vielfältigen Komponenten von GHA, darunter Events, Actions, Jobs, Steps, Runner und Context. Gewinne Einblicke in das Erstellen von Workflows, die bei Events wie Push und Pull Requests ausgelöst werden, und passe Runner-Maschinen an. Starte mit praktischen Übungen, indem du grundlegende CI-Pipelines einrichtest und die Details des GHA-Logs verstehst.

Exercise 1: YAML für Fortgeschrittene Exercise 2: Finde die richtige Kombination Exercise 3: Entwirf einen Continuous-Integration-Workflow Exercise 4: Eine einfache CI-Pipeline einrichten Exercise 5: GitHub-Actions-Workflow interpretieren Exercise 6: Schreibe einen GitHub-Actions-Workflow Exercise 7: Repository-Code ausführen Exercise 8: Feature-Branches im Shared-Repository-Modell Exercise 9: Python-Code in GitHub Actions ausführen Exercise 10: Umgebungsvariablen und Secrets Exercise 11: Was ist GITHUB_TOKEN?Exercise 12: Arbeiten mit Umgebungsvariablen Exercise 13: Mit Secrets arbeiten

In diesem Kapitel integrierst du das Training von Machine-Learning-Modellen in eine GitHub-Action-Pipeline mithilfe der Continuous Machine Learning GitHub Action. Du erzeugst einen umfassenden Markdown-Report mit Modellmetriken und Plots. Außerdem tauchst du in Datenversionierung im Machine Learning ein, indem du Data Version Control (DVC) nutzt, um Datenänderungen zu verfolgen. Das Kapitel behandelt auch das Einrichten von DVC-Remotes und das Übertragen von Datensätzen. Abschließend lernst du DVC-Pipelines kennen und konfigurierst eine DVC-YAML-Datei, um reproduzierbares Modelltraining zu orchestrieren.

Exercise 1: Modelltraining mit GitHub Actions Exercise 2: Ein Klassifikationsmodell entwickeln Exercise 3: Trainiere ein Klassifikationsmodell Exercise 4: Modelltraining mit CML einrichten Exercise 5: Datensätze versionieren mit Data Version Control Exercise 6: Warum werden .dvc-Dateien benötigt?Exercise 7: Datenversionierung in der Praxis Exercise 8: Mit DVC-Remotes arbeiten Exercise 9: Die Vorteile von DVC-Remotes erkunden Exercise 10: DVC-Remotes in Aktion Exercise 11: DVC-Pipelines Exercise 12: Erstellen einer DVC-Pipeline

Aktuelle Übung

Exercise 13: ML-Modelle mit DVC trainieren

In diesem Kapitel richtest du deinen Fokus auf die Analyse der Modellleistung und das Feintuning von Hyperparametern. Du erwirbst praktische Kenntnisse darin, Metriken und Visualisierungen über verschiedene Branches hinweg zu vergleichen, um Änderungen in der Modellleistung zu bewerten. Du führst Hyperparameter-Tuning mit GridSearchCV von scikit-learn durch. Außerdem befasst du dich mit der Automatisierung von Pull Requests mithilfe der optimalen Modellkonfiguration.

Exercise 1: Metriken und Plots in DVC vergleichen Exercise 2: Metriken und Plots zu dvc.yaml hinzufügen Exercise 3: Metriken über Git-Branches hinweg vergleichen Exercise 4: DVC-Pipeline in GitHub Actions ausführen Exercise 5: Hyperparameter-Tuning mit DVC Exercise 6: Hyperparameter-Tuning zu dvc.yaml hinzufügen Exercise 7: DVC-Pipelines für Hyperparameter-Tuning ausführen Exercise 8: GitHub Actions-Workflow für Hyperparameter-Tuning Exercise 9: Lose Kopplung Exercise 10: Hyperparameter-Tuning in GitHub Actions einrichten Exercise 11: Glückwunsch!