DVC-Pipelines für Hyperparameter-Tuning ausführen

In dieser Übung führst du die Ziele für Hyperparameter-Training und Modelltraining aus, die in der Pipeline dvc.yaml definiert sind. Die Datei dvc.yaml beschreibt den DVC-Workflow zur Orchestrierung der Jobs und listet Befehle, Abhängigkeiten und Ausgaben auf.

Du probierst aus, wie du diese Pipelines unabhängig voneinander startest, und beobachtest die Interaktion zwischen beiden über die Datei mit der besten Parameterkonfiguration rfc_best_params.json.

In deinem Setup ist diese Datei entweder dafür gedacht, für Trainingsjobs manuell bearbeitet zu werden oder alternativ als Ausgabe eines Hyperparameter-Tuning-Jobs zu entstehen.

Die Datei dvc.yaml beschreibt den DVC-Workflow zur Orchestrierung des Hyperparameter-Tunings und listet Befehle, Abhängigkeiten und Ausgaben auf.

HINWEIS: Du arbeitest auf dem Branch main. Git und DVC sind bereits für dich initialisiert.

Diese Übung ist Teil des Kurses

CI/CD für Machine Learning

Interaktive Übung

In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.

Diese Übung ist Teil des Kurses

CI/CD für Machine Learning

Hohe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

In diesem Kapitel lernst du die wesentlichen Grundlagen von Continuous Integration/Continuous Delivery (CI/CD) und YAML kennen. Du verstehst den Software Development Life Cycle und zentrale Begriffe wie Build, Test und Deploy. Entdecke die Unterschiede zwischen Continuous Integration, Continuous Delivery und Continuous Deployment. Außerdem untersuchst du die Bedeutung von CI/CD im Machine Learning und bei Experimenten.

Exercise 1: Einführung in Continuous Integration/Continuous Delivery für Machine Learning Exercise 2: Continuous Deployment und Continuous Delivery Exercise 3: Machine-Learning-Workflow Exercise 4: Einführung in YAML Exercise 5: YAML-Syntax Exercise 6: YAML-Zuordnungen und -Sequenzen Exercise 7: Einführung in GitHub Actions Exercise 8: Nutzwert von GitHub Actions Exercise 9: Anatomie von GitHub Actions

Mach dich bereit für GitHub Actions (GHA), eine leistungsfähige Plattform zur Ausführung von CI/CD-Workflows. Entdecke die vielfältigen Komponenten von GHA, darunter Events, Actions, Jobs, Steps, Runner und Context. Gewinne Einblicke in das Erstellen von Workflows, die bei Events wie Push und Pull Requests ausgelöst werden, und passe Runner-Maschinen an. Starte mit praktischen Übungen, indem du grundlegende CI-Pipelines einrichtest und die Details des GHA-Logs verstehst.

Exercise 1: YAML für Fortgeschrittene Exercise 2: Finde die richtige Kombination Exercise 3: Entwirf einen Continuous-Integration-Workflow Exercise 4: Eine einfache CI-Pipeline einrichten Exercise 5: GitHub-Actions-Workflow interpretieren Exercise 6: Schreibe einen GitHub-Actions-Workflow Exercise 7: Repository-Code ausführen Exercise 8: Feature-Branches im Shared-Repository-Modell Exercise 9: Python-Code in GitHub Actions ausführen Exercise 10: Umgebungsvariablen und Secrets Exercise 11: Was ist GITHUB_TOKEN?Exercise 12: Arbeiten mit Umgebungsvariablen Exercise 13: Mit Secrets arbeiten

In diesem Kapitel integrierst du das Training von Machine-Learning-Modellen in eine GitHub-Action-Pipeline mithilfe der Continuous Machine Learning GitHub Action. Du erzeugst einen umfassenden Markdown-Report mit Modellmetriken und Plots. Außerdem tauchst du in Datenversionierung im Machine Learning ein, indem du Data Version Control (DVC) nutzt, um Datenänderungen zu verfolgen. Das Kapitel behandelt auch das Einrichten von DVC-Remotes und das Übertragen von Datensätzen. Abschließend lernst du DVC-Pipelines kennen und konfigurierst eine DVC-YAML-Datei, um reproduzierbares Modelltraining zu orchestrieren.

Exercise 1: Modelltraining mit GitHub Actions Exercise 2: Ein Klassifikationsmodell entwickeln Exercise 3: Trainiere ein Klassifikationsmodell Exercise 4: Modelltraining mit CML einrichten Exercise 5: Datensätze versionieren mit Data Version Control Exercise 6: Warum werden .dvc-Dateien benötigt?Exercise 7: Datenversionierung in der Praxis Exercise 8: Mit DVC-Remotes arbeiten Exercise 9: Die Vorteile von DVC-Remotes erkunden Exercise 10: DVC-Remotes in Aktion Exercise 11: DVC-Pipelines Exercise 12: Erstellen einer DVC-Pipeline Exercise 13: ML-Modelle mit DVC trainieren

In diesem Kapitel richtest du deinen Fokus auf die Analyse der Modellleistung und das Feintuning von Hyperparametern. Du erwirbst praktische Kenntnisse darin, Metriken und Visualisierungen über verschiedene Branches hinweg zu vergleichen, um Änderungen in der Modellleistung zu bewerten. Du führst Hyperparameter-Tuning mit GridSearchCV von scikit-learn durch. Außerdem befasst du dich mit der Automatisierung von Pull Requests mithilfe der optimalen Modellkonfiguration.

Exercise 1: Metriken und Plots in DVC vergleichen Exercise 2: Metriken und Plots zu dvc.yaml hinzufügen Exercise 3: Metriken über Git-Branches hinweg vergleichen Exercise 4: DVC-Pipeline in GitHub Actions ausführen Exercise 5: Hyperparameter-Tuning mit DVC Exercise 6: Hyperparameter-Tuning zu dvc.yaml hinzufügen Exercise 7: DVC-Pipelines für Hyperparameter-Tuning ausführen

Aktuelle Übung

Exercise 8: GitHub Actions-Workflow für Hyperparameter-Tuning Exercise 9: Lose Kopplung Exercise 10: Hyperparameter-Tuning in GitHub Actions einrichten Exercise 11: Glückwunsch!