DVC einrichten

Data Version Control (DVC) bietet eine strukturierte Methode für das Versionieren von Daten – ein entscheidender Aspekt, der manchmal vernachlässigt wird. Mit DVC kannst du Änderungen an deinen Datensätzen genau nachverfolgen und so Reproduzierbarkeit, Zusammenarbeit und einfacheres Troubleshooting sicherstellen. Es wirkt wie ein Schutzschild gegen datenbezogene Hürden und schafft Vertrauen sowie Effizienz in deinen datengetriebenen Projekten.

In dieser Übung initialisierst du ein DVC-Projekt und prüfst, wie DVC installiert wurde. Git ist für dieses Projekt bereits initialisiert.

Diese Übung ist Teil des Kurses

<Kurs>Einführung in Data Versioning mit DVC</Kurs>

Kurs ansehen

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Übung starten

Diese Übung ist Teil des Kurses

<Kurs>Einführung in Data Versioning mit DVC</Kurs>

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

388 reviews

Kurs kostenlos starten

Dieses Kapitel bietet eine umfassende Einführung in Data Version Control (DVC), ein unverzichtbares Tool für die Datenversionierung im Machine Learning. Du lernst die Motivation hinter der Datenversionierung kennen, verstehst die Unterschiede zur Code-Versionierung und arbeitest an einem einfachen Klassifikationsproblem. Außerdem wiederholst du grundlegende Git-Befehle, lernst DVC kennen und übst das Einrichten eines Repositories. Zum Schluss erhältst du einen Überblick über DVCs Funktionen und Anwendungsfälle, darunter das Versionieren von Daten und Modellen, CI/CD für Machine Learning, Experiment-Tracking, Pipelines und mehr.

Exercise 1: Motivation für Data Versioning Exercise 2: Anatomie eines Machine-Learning-Modells Exercise 3: Unterschiede zwischen Daten- und Code-Versionierung Exercise 4: Hyperparameter verstehen Exercise 5: Einführung in DVC Exercise 6: Arbeiten mit der Git-CLI Exercise 7: DVC-CLI wiederholen Exercise 8: DVC‑Funktionen und Anwendungsfälle Exercise 9: DVC-Pipelines Exercise 10: CI/CD für Machine Learning

Dieses Kapitel behandelt die Einrichtung von DVC, einschließlich Installation, Initialisierung des Repositories und Nutzung der Datei .dvcignore. Außerdem erkundest du den DVC-Cache und Staging-Dateien und erfährst, wie du Dateien hinzufügst und entfernst, Caches verwaltest und die zugrunde liegenden Mechanismen mit dem MD5-Hash verstehst. Das Kapitel erläutert zudem DVC-Remotes, grenzt sie von Git-Remotes ab und zeigt dir, wie du sie hinzufügst, auflistest und änderst. Abschließend lernst du, wie du mit diesen Remotes interagierst: Daten pushen und pullen, bestimmte Versionen auschecken und Daten in den Cache laden.

Exercise 1: DVC-Einrichtung und Initialisierung Exercise 2: DVC einrichten

Aktuelle Übung

Exercise 3: .dvcignore-Muster Exercise 4: DVC-Cache und Staging-Dateien Exercise 5: Arbeiten mit dem DVC-Cache Exercise 6: .dvc-Dateien verstehen Exercise 7: DVC-Remotes konfigurieren Exercise 8: Zweck von DVC-Remotes Exercise 9: Einen DVC-Remote einrichten Exercise 10: Mit DVC-Remotes arbeiten Exercise 11: Daten versionieren mit DVC Remote Exercise 12: Versionierte Daten auschecken

Dieses Kapitel konzentriert sich auf die Automatisierung von ML-Pipelines mit DVC. Du erstellst eine Konfigurationsdatei mit Einstellungen und Hyperparametern. Außerdem lernst du die Pipeline-Visualisierung mit gerichteten azyklischen Graphen kennen und verwendest Befehle, um Abhängigkeiten, Befehle und Ausgaben zu beschreiben. Die Ausführung von DVC-Pipelines wird behandelt, einschließlich lokalem Modelltraining und der Art, wie Git DVC-Metadaten verfolgt. Zusätzlich erkundest du das Tracking von Metriken und Plots in DVC, einschließlich des Ausgebens von Metriken, Erstellens von Plot-Dateien und Vergleichens von Metriken und Plots über verschiedene Pipeline-Schritte hinweg.

Exercise 1: Code-Organisation und Refactoring Exercise 2: Parameterdateien in DVC verstehen Exercise 3: Schreib eine Parameterdatei Exercise 4: DVC-Pipelines schreiben und visualisieren Exercise 5: Eine DVC-Pipeline entwerfen Exercise 6: Eine DVC-Pipeline visualisieren Exercise 7: DVC-Pipelines ausführen Exercise 8: Konzepte zur Ausführung von DVC-Pipelines Exercise 9: Führe eine Trainings-Pipeline für ein ML-Modell aus Exercise 10: Auswertung: Metriken und Plots in DVC Exercise 11: DVC-Metriken nachverfolgen Exercise 12: Plots zu dvc.yaml hinzufügen Exercise 13: Glückwunsch!