Pipelines do DVC

Em pipelines do DVC, qual é o principal objetivo de definir dependências, saídas e comandos no arquivo YAML?

Este exercicio faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio

Este exercicio faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

IntermediárioNível de habilidade

4.8+

379 reviews

Comece o curso gratuitamente

Este capítulo oferece uma introdução abrangente ao Data Version Control (DVC), uma ferramenta essencial para o versionamento de dados em Machine Learning. Você vai explorar a motivação por trás do versionamento de dados, entender suas diferenças em relação ao versionamento de código e experimentar um problema simples de classificação. Também vai revisar comandos básicos do Git, conhecer o DVC e praticar a criação de um repositório. O capítulo termina com uma visão geral dos recursos e casos de uso do DVC, incluindo versionamento de dados e modelos, CI/CD para Machine Learning, rastreamento de experimentos, pipelines e mais.

Exercise 1: Motivação para Versionamento de Dados Exercise 2: Anatomia de um Modelo de Machine Learning Exercise 3: Diferenças entre versionamento de dados e de código Exercise 4: Entendendo hiperparâmetros Exercise 5: Introdução ao DVC Exercise 6: Trabalhando com o Git CLI Exercise 7: Revisão da CLI do DVC Exercise 8: Recursos do DVC e casos de uso Exercise 9: Pipelines do DVC

Exercicio Atual

Exercise 10: CI/CD para machine learning

Este capítulo aprofunda a configuração do DVC, abrangendo aspectos como instalação, inicialização do repositório e o uso do arquivo .dvcignore. Em seguida, passa pela exploração do cache do DVC e dos arquivos de staging, ensinando como adicionar e remover arquivos, gerenciar caches e compreender os mecanismos por trás do uso do hash MD5. O capítulo também esclarece o que são remotes do DVC, diferenciando-os dos remotes do Git, e orienta como adicioná-los, listá-los e modificá-los. Por fim, você aprende a interagir com esses remotes fazendo push e pull de dados, fazendo checkout de versões específicas e buscando dados para o cache.

Exercise 1: Configuração e inicialização do DVC Exercise 2: Configurando o DVC Exercise 3: .dvcignore: Padrões Exercise 4: Cache do DVC e arquivos de staging Exercise 5: Trabalhando com o cache do DVC Exercise 6: Entendendo arquivos .dvc Exercise 7: Configurando remotos do DVC Exercise 8: Propósito dos remotos do DVC Exercise 9: Configurar um remoto do DVC Exercise 10: Interagindo com remotos do DVC Exercise 11: Versionando dados usando DVC Remote Exercise 12: Fazendo checkout de dados versionados

Este capítulo foca na automação de pipelines de ML usando DVC. Você vai criar um arquivo de configuração com definições e hiperparâmetros. Também vai aprender sobre visualização de pipelines usando grafos acíclicos direcionados e utilizar comandos para descrever dependências, comandos e saídas. A execução de pipelines no DVC é abordada, incluindo o treino de modelos localmente e como o Git rastreia metadados do DVC. Além disso, você vai explorar o rastreamento de métricas e gráficos no DVC, incluindo como imprimir métricas, criar arquivos de plot e comparar métricas e gráficos entre diferentes etapas do pipeline.

Exercise 1: Organização de código e refatoração Exercise 2: Entendendo arquivos de parâmetros no DVC Exercise 3: Escreva um arquivo de parâmetros Exercise 4: Escrevendo e visualizando pipelines no DVC Exercise 5: Projetando um pipeline em DVC Exercise 6: Visualizando uma pipeline do DVC Exercise 7: Executando pipelines do DVC Exercise 8: Conceitos de execução de pipelines no DVC Exercise 9: Execute um pipeline de treinamento de modelo de ML Exercise 10: Avaliação: métricas e gráficos no DVC Exercise 11: Acompanhando métricas no DVC Exercise 12: Adicionando gráficos ao dvc.yaml Exercise 13: Parabéns!