Execute um pipeline de treinamento de modelo de ML

Pipelines do DVC são usados para garantir a reprodutibilidade no seu projeto.

Neste exercício, você vai aproveitar o que aprendeu ao criar um pipeline no arquivo dvc.yaml e executar as etapas para treinar um modelo de Machine Learning de forma estruturada. Sua tarefa é executar diferentes variantes do comando dvc repro para entender suas nuances.

Este exercício faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

Ver curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

IntermediárioNível de habilidade

4.8+

289 reviews

Iniciar curso de graça

Este capítulo oferece uma introdução abrangente ao Data Version Control (DVC), uma ferramenta essencial para o versionamento de dados em Machine Learning. Você vai explorar a motivação por trás do versionamento de dados, entender suas diferenças em relação ao versionamento de código e experimentar um problema simples de classificação. Também vai revisar comandos básicos do Git, conhecer o DVC e praticar a criação de um repositório. O capítulo termina com uma visão geral dos recursos e casos de uso do DVC, incluindo versionamento de dados e modelos, CI/CD para Machine Learning, rastreamento de experimentos, pipelines e mais.

Exercise 1: Motivação para Versionamento de Dados Exercise 2: Anatomia de um Modelo de Machine Learning Exercise 3: Diferenças entre versionamento de dados e de código Exercise 4: Entendendo hiperparâmetros Exercise 5: Introdução ao DVC Exercise 6: Trabalhando com o Git CLI Exercise 7: Revisão da CLI do DVC Exercise 8: Recursos do DVC e casos de uso Exercise 9: Pipelines do DVC Exercise 10: CI/CD para machine learning

Este capítulo aprofunda a configuração do DVC, abrangendo aspectos como instalação, inicialização do repositório e o uso do arquivo .dvcignore. Em seguida, passa pela exploração do cache do DVC e dos arquivos de staging, ensinando como adicionar e remover arquivos, gerenciar caches e compreender os mecanismos por trás do uso do hash MD5. O capítulo também esclarece o que são remotes do DVC, diferenciando-os dos remotes do Git, e orienta como adicioná-los, listá-los e modificá-los. Por fim, você aprende a interagir com esses remotes fazendo push e pull de dados, fazendo checkout de versões específicas e buscando dados para o cache.

Exercise 1: Configuração e inicialização do DVC Exercise 2: Configurando o DVC Exercise 3: .dvcignore: Padrões Exercise 4: Cache do DVC e arquivos de staging Exercise 5: Trabalhando com o cache do DVC Exercise 6: Entendendo arquivos .dvc Exercise 7: Configurando remotos do DVC Exercise 8: Propósito dos remotos do DVC Exercise 9: Configurar um remoto do DVC Exercise 10: Interagindo com remotos do DVC Exercise 11: Versionando dados usando DVC Remote Exercise 12: Fazendo checkout de dados versionados

Este capítulo foca na automação de pipelines de ML usando DVC. Você vai criar um arquivo de configuração com definições e hiperparâmetros. Também vai aprender sobre visualização de pipelines usando grafos acíclicos direcionados e utilizar comandos para descrever dependências, comandos e saídas. A execução de pipelines no DVC é abordada, incluindo o treino de modelos localmente e como o Git rastreia metadados do DVC. Além disso, você vai explorar o rastreamento de métricas e gráficos no DVC, incluindo como imprimir métricas, criar arquivos de plot e comparar métricas e gráficos entre diferentes etapas do pipeline.

Exercise 1: Organização de código e refatoração Exercise 2: Entendendo arquivos de parâmetros no DVC Exercise 3: Escreva um arquivo de parâmetros Exercise 4: Escrevendo e visualizando pipelines no DVC Exercise 5: Projetando um pipeline em DVC Exercise 6: Visualizando uma pipeline do DVC Exercise 7: Executando pipelines do DVC Exercise 8: Conceitos de execução de pipelines no DVC Exercise 9: Execute um pipeline de treinamento de modelo de ML

Exercício atual

Exercise 10: Avaliação: métricas e gráficos no DVC Exercise 11: Acompanhando métricas no DVC Exercise 12: Adicionando gráficos ao dvc.yaml Exercise 13: Parabéns!