Eine DVC-Pipeline entwerfen

Das Entwerfen einer DVC-Pipeline, also eines DAG, ist grundlegend, um DVC in deinen Machine-Learning-Workflows zu nutzen. DAGs erlauben es uns, Eingaben, Ausgaben und die Ausführung eines bestimmten Schritts zu kodifizieren. Die Ausgaben eines Schritts können als Eingabe für einen oder mehrere Schritte dienen und setzen so automatisch die richtigen Abhängigkeiten zwischen den Schritten.

In dieser Übung gestaltest du einen ML-Workflow mit vier Stufen:

Datenvorverarbeitung (preprocess_stage)
Datensplitting (split_stage)
Modelltraining (train_stage)
Modellevaluierung (evaluate_stage)

Wir arbeiten ausschließlich mit den Befehlen dvc stage add. Scrolle bei Bedarf bis zum Ende der Shell-Skriptdatei (dvc_dag_stages_add.sh).

Diese Übung ist Teil des Kurses

<Kurs>Einführung in Data Versioning mit DVC</Kurs>

Kurs ansehen

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Übung starten

Diese Übung ist Teil des Kurses

<Kurs>Einführung in Data Versioning mit DVC</Kurs>

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

388 reviews

Kurs kostenlos starten

Dieses Kapitel bietet eine umfassende Einführung in Data Version Control (DVC), ein unverzichtbares Tool für die Datenversionierung im Machine Learning. Du lernst die Motivation hinter der Datenversionierung kennen, verstehst die Unterschiede zur Code-Versionierung und arbeitest an einem einfachen Klassifikationsproblem. Außerdem wiederholst du grundlegende Git-Befehle, lernst DVC kennen und übst das Einrichten eines Repositories. Zum Schluss erhältst du einen Überblick über DVCs Funktionen und Anwendungsfälle, darunter das Versionieren von Daten und Modellen, CI/CD für Machine Learning, Experiment-Tracking, Pipelines und mehr.

Exercise 1: Motivation für Data Versioning Exercise 2: Anatomie eines Machine-Learning-Modells Exercise 3: Unterschiede zwischen Daten- und Code-Versionierung Exercise 4: Hyperparameter verstehen Exercise 5: Einführung in DVC Exercise 6: Arbeiten mit der Git-CLI Exercise 7: DVC-CLI wiederholen Exercise 8: DVC‑Funktionen und Anwendungsfälle Exercise 9: DVC-Pipelines Exercise 10: CI/CD für Machine Learning

Dieses Kapitel behandelt die Einrichtung von DVC, einschließlich Installation, Initialisierung des Repositories und Nutzung der Datei .dvcignore. Außerdem erkundest du den DVC-Cache und Staging-Dateien und erfährst, wie du Dateien hinzufügst und entfernst, Caches verwaltest und die zugrunde liegenden Mechanismen mit dem MD5-Hash verstehst. Das Kapitel erläutert zudem DVC-Remotes, grenzt sie von Git-Remotes ab und zeigt dir, wie du sie hinzufügst, auflistest und änderst. Abschließend lernst du, wie du mit diesen Remotes interagierst: Daten pushen und pullen, bestimmte Versionen auschecken und Daten in den Cache laden.

Exercise 1: DVC-Einrichtung und Initialisierung Exercise 2: DVC einrichten Exercise 3: .dvcignore-Muster Exercise 4: DVC-Cache und Staging-Dateien Exercise 5: Arbeiten mit dem DVC-Cache Exercise 6: .dvc-Dateien verstehen Exercise 7: DVC-Remotes konfigurieren Exercise 8: Zweck von DVC-Remotes Exercise 9: Einen DVC-Remote einrichten Exercise 10: Mit DVC-Remotes arbeiten Exercise 11: Daten versionieren mit DVC Remote Exercise 12: Versionierte Daten auschecken

Dieses Kapitel konzentriert sich auf die Automatisierung von ML-Pipelines mit DVC. Du erstellst eine Konfigurationsdatei mit Einstellungen und Hyperparametern. Außerdem lernst du die Pipeline-Visualisierung mit gerichteten azyklischen Graphen kennen und verwendest Befehle, um Abhängigkeiten, Befehle und Ausgaben zu beschreiben. Die Ausführung von DVC-Pipelines wird behandelt, einschließlich lokalem Modelltraining und der Art, wie Git DVC-Metadaten verfolgt. Zusätzlich erkundest du das Tracking von Metriken und Plots in DVC, einschließlich des Ausgebens von Metriken, Erstellens von Plot-Dateien und Vergleichens von Metriken und Plots über verschiedene Pipeline-Schritte hinweg.

Exercise 1: Code-Organisation und Refactoring Exercise 2: Parameterdateien in DVC verstehen Exercise 3: Schreib eine Parameterdatei Exercise 4: DVC-Pipelines schreiben und visualisieren Exercise 5: Eine DVC-Pipeline entwerfen

Aktuelle Übung

Exercise 6: Eine DVC-Pipeline visualisieren Exercise 7: DVC-Pipelines ausführen Exercise 8: Konzepte zur Ausführung von DVC-Pipelines Exercise 9: Führe eine Trainings-Pipeline für ein ML-Modell aus Exercise 10: Auswertung: Metriken und Plots in DVC Exercise 11: DVC-Metriken nachverfolgen Exercise 12: Plots zu dvc.yaml hinzufügen Exercise 13: Glückwunsch!