Conceitos de execução de pipelines no DVC

As pipelines do DVC organizam fluxos de trabalho de Machine Learning, permitindo versionamento, rastreamento e cache eficientes de dados e código. Entender como a execução funciona ajuda você a desenhar fluxos eficazes. Neste exercício, você vai verificar seu entendimento sobre como o DVC executa pipelines reproduzíveis.

Este exercício faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

Ver curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

IntermediárioNível de habilidade

4.8+

289 reviews

Iniciar curso de graça

Este capítulo oferece uma introdução abrangente ao Data Version Control (DVC), uma ferramenta essencial para o versionamento de dados em Machine Learning. Você vai explorar a motivação por trás do versionamento de dados, entender suas diferenças em relação ao versionamento de código e experimentar um problema simples de classificação. Também vai revisar comandos básicos do Git, conhecer o DVC e praticar a criação de um repositório. O capítulo termina com uma visão geral dos recursos e casos de uso do DVC, incluindo versionamento de dados e modelos, CI/CD para Machine Learning, rastreamento de experimentos, pipelines e mais.

Exercise 1: Motivação para Versionamento de Dados Exercise 2: Anatomia de um Modelo de Machine Learning Exercise 3: Diferenças entre versionamento de dados e de código Exercise 4: Entendendo hiperparâmetros Exercise 5: Introdução ao DVC Exercise 6: Trabalhando com o Git CLI Exercise 7: Revisão da CLI do DVC Exercise 8: Recursos do DVC e casos de uso Exercise 9: Pipelines do DVC Exercise 10: CI/CD para machine learning

Este capítulo aprofunda a configuração do DVC, abrangendo aspectos como instalação, inicialização do repositório e o uso do arquivo .dvcignore. Em seguida, passa pela exploração do cache do DVC e dos arquivos de staging, ensinando como adicionar e remover arquivos, gerenciar caches e compreender os mecanismos por trás do uso do hash MD5. O capítulo também esclarece o que são remotes do DVC, diferenciando-os dos remotes do Git, e orienta como adicioná-los, listá-los e modificá-los. Por fim, você aprende a interagir com esses remotes fazendo push e pull de dados, fazendo checkout de versões específicas e buscando dados para o cache.

Exercise 1: Configuração e inicialização do DVC Exercise 2: Configurando o DVC Exercise 3: .dvcignore: Padrões Exercise 4: Cache do DVC e arquivos de staging Exercise 5: Trabalhando com o cache do DVC Exercise 6: Entendendo arquivos .dvc Exercise 7: Configurando remotos do DVC Exercise 8: Propósito dos remotos do DVC Exercise 9: Configurar um remoto do DVC Exercise 10: Interagindo com remotos do DVC Exercise 11: Versionando dados usando DVC Remote Exercise 12: Fazendo checkout de dados versionados

Este capítulo foca na automação de pipelines de ML usando DVC. Você vai criar um arquivo de configuração com definições e hiperparâmetros. Também vai aprender sobre visualização de pipelines usando grafos acíclicos direcionados e utilizar comandos para descrever dependências, comandos e saídas. A execução de pipelines no DVC é abordada, incluindo o treino de modelos localmente e como o Git rastreia metadados do DVC. Além disso, você vai explorar o rastreamento de métricas e gráficos no DVC, incluindo como imprimir métricas, criar arquivos de plot e comparar métricas e gráficos entre diferentes etapas do pipeline.

Exercise 1: Organização de código e refatoração Exercise 2: Entendendo arquivos de parâmetros no DVC Exercise 3: Escreva um arquivo de parâmetros Exercise 4: Escrevendo e visualizando pipelines no DVC Exercise 5: Projetando um pipeline em DVC Exercise 6: Visualizando uma pipeline do DVC Exercise 7: Executando pipelines do DVC Exercise 8: Conceitos de execução de pipelines no DVC

Exercício atual

Exercise 9: Execute um pipeline de treinamento de modelo de ML Exercise 10: Avaliação: métricas e gráficos no DVC Exercise 11: Acompanhando métricas no DVC Exercise 12: Adicionando gráficos ao dvc.yaml Exercise 13: Parabéns!