Execução dos pipelines do DVC

Este exercício faz parte do curso

Introdução ao controle de versão de dados com DVC

IntermediárioNível de habilidade

4.8+

Este capítulo fornece uma introdução abrangente ao Controle de versão de dados (DVC), uma ferramenta essencial para o controle de versão de dados em machine learning. Os alunos explorarão a motivação por trás do controle de versão de dados, entenderão suas diferenças em relação ao controle de versão de código e farão experiências com um problema de classificação simples. Eles revisarão os comandos básicos do Git, aprenderão sobre DVC e praticarão a configuração de um repositório. O capítulo termina com uma visão geral dos recursos e casos de uso do DVC, incluindo dados e modelos de controle de versão, CI/CD para machine learning, rastreamento de experimentos, pipelines e muito mais.

Exercise 1: Motivação para o controle de versão de dados Exercise 2: Anatomia de um modelo de machine learning Exercise 3: Diferenças entre o controle de versão de dados e de código Exercise 4: Entendendo os hiperparâmetros Exercise 5: Introdução a DVC Exercise 6: Trabalhando com o Git CLI Exercise 7: Revisão DVC CLI Exercise 8: DVC recursos e casos de uso Exercise 9: DVC dutos Exercise 10: CI/CD para machine learning

Este capítulo aborda a configuração do DVC, abrangendo aspectos como instalação, inicialização do repositório e a utilização do arquivo .dvcignore. Além disso, você navegará pela exploração do cache DVC e dos arquivos de preparação, transmitindo conhecimento sobre como adicionar e remover arquivos, gerenciar caches e compreender os mecanismos subjacentes usando o hash MD5. O capítulo também esclarece sobre os controles remotos do DVC, distinguindo-os dos controles remotos do Git, e orienta você sobre como adicioná-los, listá-los e modificá-los. Por fim, ele ensina você a interagir com esses controles remotos, enviando e extraindo dados, verificando versões específicas e buscando dados no cache.

Exercise 1: DVC Configuração e inicialização Exercise 2: Configuração DVC Exercise 3: Padrões .dvcignore Exercise 4: DVC Arquivos de cache e de teste Exercise 5: Trabalhando com o DVC Cache Exercise 6: Entendendo os arquivos .dvc Exercise 7: Configuração dos controles remotos DVC Exercise 8: Objetivo dos controles remotos DVC Exercise 9: Configure um controle remoto DVC Exercise 10: Interagindo com os controles remotos DVC Exercise 11: Controle de versão de dados usando DVC Remote Exercise 12: Verificação de dados com controle de versão

Este capítulo se concentra na automação dos pipelines do ML usando o DVC. Os alunos criam um arquivo de configuração que contém configurações e hiperparâmetros. Eles também aprendem sobre a visualização de pipeline usando gráficos acíclicos direcionados e usam comandos para descrever dependências, comandos e saídas. A execução dos pipelines do DVC é abordada, incluindo o treinamento de modelos locais e como o Git programa os metadados do DVC. Além disso, os alunos exploram o rastreamento de métricas e gráficos em DVC, incluindo como imprimir métricas, criar arquivos de gráficos e comparar métricas e gráficos em diferentes estágios do pipeline.

Exercise 1: Organização e refatoração de código Exercise 2: Entendendo os arquivos de parâmetros em DVC Exercise 3: Gravar um arquivo de parâmetros Exercise 4: Escrever e visualizar DVC pipelines Exercise 5: Projetando um pipeline DVC Exercise 6: Visualizando um pipeline DVC Exercise 7: Execução dos pipelines do DVC

Exercício atual

Exercise 8: DVC conceitos de execução de pipeline Exercise 9: Execute um pipeline de treinamento do modelo ML Exercise 10: Avaliação: Métricas e gráficos em DVC Exercise 11: Programa DVC Métricas Exercise 12: Adição de gráficos ao dvc.yaml Exercise 13: Parabéns!