Concetti di esecuzione delle pipeline DVC

Le pipeline DVC semplificano i flussi di lavoro di Machine Learning, permettendo versionamento, tracciamento e caching efficienti di dati e codice. Conoscere come vengono eseguite le pipeline ti aiuta a progettare flussi di lavoro efficaci. In questo esercizio, verificherai la tua comprensione di come DVC esegue pipeline riproducibili.

Questo esercizio fa parte del corso

Introduzione al versionamento dei dati con DVC

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio

Questo esercizio fa parte del corso

Introduzione al versionamento dei dati con DVC

IntermediárioNível de habilidade

4.8+

379 reviews

Inizia il corso gratuitamente

Questo capitolo offre un’introduzione completa a Data Version Control (DVC), uno strumento essenziale per il versionamento dei dati nel Machine Learning. Esplorerai le motivazioni del versionamento dei dati, capirai in cosa differisce dal versionamento del codice e sperimenterai con un semplice problema di classificazione. Ripasserai i comandi base di Git, conoscerai DVC e farai pratica nell’impostare un repository. Il capitolo si conclude con una panoramica delle funzionalità e dei casi d’uso di DVC, tra cui versionamento di dati e modelli, CI/CD per il Machine Learning, tracciamento degli esperimenti, pipeline e altro ancora.

Exercise 1: Motivazioni del data versioning Exercise 2: Anatomia di un modello di Machine Learning Exercise 3: Differenze tra versionamento dei dati e del codice Exercise 4: Capire gli iperparametri Exercise 5: Introduzione a DVC Exercise 6: Lavorare con la CLI di Git Exercise 7: Ripasso della CLI di DVC Exercise 8: Funzionalità e casi d'uso di DVC Exercise 9: Pipeline DVC Exercise 10: CI/CD per il machine learning

Questo capitolo approfondisce la configurazione di DVC, includendo installazione, inizializzazione del repository e utilizzo del file .dvcignore. Prosegue con l’esplorazione della cache di DVC e dei file di staging, spiegando come aggiungere e rimuovere file, gestire le cache e comprendere i meccanismi sottostanti usando l’hash MD5. Il capitolo chiarisce anche cosa sono i remoti di DVC, come si differenziano dai remoti di Git e ti guida su come aggiungerli, elencarli e modificarli. Infine, imparerai a interagire con questi remoti eseguendo push e pull dei dati, effettuando il checkout di versioni specifiche e recuperando i dati nella cache.

Exercise 1: Configurazione e inizializzazione di DVC Exercise 2: Configurare DVC Exercise 3: Pattern di .dvcignore Exercise 4: Cache DVC e file in staging Exercise 5: Lavorare con la cache di DVC Exercise 6: Capire i file .dvc Exercise 7: Configurare i remoti DVC Exercise 8: Scopo dei remoti DVC Exercise 9: Configura un DVC Remote Exercise 10: Interagire con i DVC Remote Exercise 11: Versionare i dati usando un DVC Remote Exercise 12: Eseguire il checkout dei dati versionati

Questo capitolo è incentrato sull’automazione delle pipeline di ML con DVC. Creerai un file di configurazione con impostazioni e iperparametri. Imparerai anche a visualizzare le pipeline usando grafi aciclici diretti e a usare i comandi per descrivere dipendenze, comandi e risultati. L’esecuzione delle pipeline DVC viene trattata includendo l’addestramento del modello in locale e come Git traccia i metadati di DVC. Inoltre, esplorerai il tracciamento di metriche e grafici in DVC, incluso come stampare le metriche, creare file di grafici e confrontare metriche e grafici tra diverse fasi della pipeline.

Exercise 1: Organizzazione del codice e refactoring Exercise 2: Comprendere i file dei parametri in DVC Exercise 3: Scrivi un file dei parametri Exercise 4: Scrivere e visualizzare pipeline DVC Exercise 5: Progettare una pipeline DVC Exercise 6: Visualizzare una pipeline DVC Exercise 7: Esecuzione di pipeline DVC Exercise 8: Concetti di esecuzione delle pipeline DVC

Esercizio attuale

Exercise 9: Esegui una pipeline di training di un modello di ML Exercise 10: Valutazione: metriche e grafici in DVC Exercise 11: Monitorare le metriche di DVC Exercise 12: Aggiungere i grafici a dvc.yaml Exercise 13: Congratulazioni!