Trabalhando com o cache do DVC

Neste exercício, você vai explorar como adicionar e remover dados do cache do DVC.

Você está trabalhando em um projeto de Machine Learning que envolve um conjunto de dados meteorológicos, prevendo se vai chover dadas as condições atmosféricas. À medida que você faz atualizações no conjunto de dados, quer garantir que as mudanças sejam rastreadas e que seja fácil voltar a versões anteriores, se necessário.

Git e DVC já estão inicializados no ambiente de trabalho.

Este exercicio faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio

Este exercicio faz parte do curso

Introdução ao Controle de Versão de Dados com DVC

IntermediárioNível de habilidade

4.8+

434 reviews

Comece o curso gratuitamente

Este capítulo oferece uma introdução abrangente ao Data Version Control (DVC), uma ferramenta essencial para o versionamento de dados em Machine Learning. Você vai explorar a motivação por trás do versionamento de dados, entender suas diferenças em relação ao versionamento de código e experimentar um problema simples de classificação. Também vai revisar comandos básicos do Git, conhecer o DVC e praticar a criação de um repositório. O capítulo termina com uma visão geral dos recursos e casos de uso do DVC, incluindo versionamento de dados e modelos, CI/CD para Machine Learning, rastreamento de experimentos, pipelines e mais.

Exercise 1: Motivação para Versionamento de Dados Exercise 2: Anatomia de um modelo de Machine Learning Exercise 3: Diferenças entre versionamento de dados e de código Exercise 4: Entendendo hiperparâmetros Exercise 5: Introdução ao DVC Exercise 6: Trabalhando com o Git pela CLI Exercise 7: Revisão da CLI do DVC Exercise 8: Recursos do DVC e casos de uso Exercise 9: Pipelines do DVC Exercise 10: CI/CD para machine learning

Este capítulo aprofunda a configuração do DVC, abrangendo aspectos como instalação, inicialização do repositório e o uso do arquivo .dvcignore. Em seguida, passa pela exploração do cache do DVC e dos arquivos de staging, ensinando como adicionar e remover arquivos, gerenciar caches e compreender os mecanismos por trás do uso do hash MD5. O capítulo também esclarece o que são remotes do DVC, diferenciando-os dos remotes do Git, e orienta como adicioná-los, listá-los e modificá-los. Por fim, você aprende a interagir com esses remotes fazendo push e pull de dados, fazendo checkout de versões específicas e buscando dados para o cache.

Exercise 1: Configuração e inicialização do DVC Exercise 2: Configurando o DVC Exercise 3: Padrões do .dvcignore Exercise 4: Cache do DVC e arquivos de staging Exercise 5: Trabalhando com o cache do DVC

Exercicio Atual

Exercise 6: Entendendo arquivos .dvc Exercise 7: Configurando remotos do DVC Exercise 8: Propósito dos remotos do DVC Exercise 9: Configurar um DVC Remote Exercise 10: Interagindo com remotos do DVC Exercise 11: Versionando dados usando o DVC Remote Exercise 12: Fazendo checkout de dados versionados

Este capítulo foca na automação de pipelines de ML usando DVC. Você vai criar um arquivo de configuração com definições e hiperparâmetros. Também vai aprender sobre visualização de pipelines usando grafos acíclicos direcionados e utilizar comandos para descrever dependências, comandos e saídas. A execução de pipelines no DVC é abordada, incluindo o treino de modelos localmente e como o Git rastreia metadados do DVC. Além disso, você vai explorar o rastreamento de métricas e gráficos no DVC, incluindo como imprimir métricas, criar arquivos de plot e comparar métricas e gráficos entre diferentes etapas do pipeline.

Exercise 1: Organização de código e refatoração Exercise 2: Entendendo arquivos de parâmetros no DVC Exercise 3: Escreva um arquivo de parâmetros Exercise 4: Escrevendo e visualizando pipelines no DVC Exercise 5: Projetando um pipeline DVC Exercise 6: Visualizando um pipeline do DVC Exercise 7: Executando pipelines do DVC Exercise 8: Conceitos de execução de pipelines no DVC Exercise 9: Execute um pipeline de treinamento de modelo de ML Exercise 10: Avaliação: métricas e gráficos no DVC Exercise 11: Acompanhando métricas no DVC Exercise 12: Adicionando gráficos ao dvc.yaml Exercise 13: Parabéns!