Arbeiten mit dem DVC-Cache

In dieser Übung lernst du, wie du Daten zum DVC-Cache hinzufügst und wieder entfernst.

Du arbeitest an einem Machine-Learning-Projekt mit einem Wetter-Datensatz und sagst voraus, ob es regnen wird, basierend auf den atmosphärischen Bedingungen. Während du den Datensatz aktualisierst, möchtest du sicherstellen, dass Änderungen nachverfolgt werden und du bei Bedarf leicht auf frühere Versionen zurückgehen kannst.

Git und DVC sind bereits im Workspace initialisiert.

Diese Übung ist Teil des Kurses

<Kurs>Einführung in Data Versioning mit DVC</Kurs>

Kurs ansehen

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Übung starten

Diese Übung ist Teil des Kurses

<Kurs>Einführung in Data Versioning mit DVC</Kurs>

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

388 reviews

Kurs kostenlos starten

Dieses Kapitel bietet eine umfassende Einführung in Data Version Control (DVC), ein unverzichtbares Tool für die Datenversionierung im Machine Learning. Du lernst die Motivation hinter der Datenversionierung kennen, verstehst die Unterschiede zur Code-Versionierung und arbeitest an einem einfachen Klassifikationsproblem. Außerdem wiederholst du grundlegende Git-Befehle, lernst DVC kennen und übst das Einrichten eines Repositories. Zum Schluss erhältst du einen Überblick über DVCs Funktionen und Anwendungsfälle, darunter das Versionieren von Daten und Modellen, CI/CD für Machine Learning, Experiment-Tracking, Pipelines und mehr.

Exercise 1: Motivation für Data Versioning Exercise 2: Anatomie eines Machine-Learning-Modells Exercise 3: Unterschiede zwischen Daten- und Code-Versionierung Exercise 4: Hyperparameter verstehen Exercise 5: Einführung in DVC Exercise 6: Arbeiten mit der Git-CLI Exercise 7: DVC-CLI wiederholen Exercise 8: DVC‑Funktionen und Anwendungsfälle Exercise 9: DVC-Pipelines Exercise 10: CI/CD für Machine Learning

Dieses Kapitel behandelt die Einrichtung von DVC, einschließlich Installation, Initialisierung des Repositories und Nutzung der Datei .dvcignore. Außerdem erkundest du den DVC-Cache und Staging-Dateien und erfährst, wie du Dateien hinzufügst und entfernst, Caches verwaltest und die zugrunde liegenden Mechanismen mit dem MD5-Hash verstehst. Das Kapitel erläutert zudem DVC-Remotes, grenzt sie von Git-Remotes ab und zeigt dir, wie du sie hinzufügst, auflistest und änderst. Abschließend lernst du, wie du mit diesen Remotes interagierst: Daten pushen und pullen, bestimmte Versionen auschecken und Daten in den Cache laden.

Exercise 1: DVC-Einrichtung und Initialisierung Exercise 2: DVC einrichten Exercise 3: .dvcignore-Muster Exercise 4: DVC-Cache und Staging-Dateien Exercise 5: Arbeiten mit dem DVC-Cache

Aktuelle Übung

Exercise 6: .dvc-Dateien verstehen Exercise 7: DVC-Remotes konfigurieren Exercise 8: Zweck von DVC-Remotes Exercise 9: Einen DVC-Remote einrichten Exercise 10: Mit DVC-Remotes arbeiten Exercise 11: Daten versionieren mit DVC Remote Exercise 12: Versionierte Daten auschecken

Dieses Kapitel konzentriert sich auf die Automatisierung von ML-Pipelines mit DVC. Du erstellst eine Konfigurationsdatei mit Einstellungen und Hyperparametern. Außerdem lernst du die Pipeline-Visualisierung mit gerichteten azyklischen Graphen kennen und verwendest Befehle, um Abhängigkeiten, Befehle und Ausgaben zu beschreiben. Die Ausführung von DVC-Pipelines wird behandelt, einschließlich lokalem Modelltraining und der Art, wie Git DVC-Metadaten verfolgt. Zusätzlich erkundest du das Tracking von Metriken und Plots in DVC, einschließlich des Ausgebens von Metriken, Erstellens von Plot-Dateien und Vergleichens von Metriken und Plots über verschiedene Pipeline-Schritte hinweg.

Exercise 1: Code-Organisation und Refactoring Exercise 2: Parameterdateien in DVC verstehen Exercise 3: Schreib eine Parameterdatei Exercise 4: DVC-Pipelines schreiben und visualisieren Exercise 5: Eine DVC-Pipeline entwerfen Exercise 6: Eine DVC-Pipeline visualisieren Exercise 7: DVC-Pipelines ausführen Exercise 8: Konzepte zur Ausführung von DVC-Pipelines Exercise 9: Führe eine Trainings-Pipeline für ein ML-Modell aus Exercise 10: Auswertung: Metriken und Plots in DVC Exercise 11: DVC-Metriken nachverfolgen Exercise 12: Plots zu dvc.yaml hinzufügen Exercise 13: Glückwunsch!