Organização e refatoração de código

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Este exercício faz parte do curso

Introdução ao controle de versão de dados com DVC

IntermediárioNível de habilidade

4.8+

Este capítulo fornece uma introdução abrangente ao Controle de versão de dados (DVC), uma ferramenta essencial para o controle de versão de dados em machine learning. Os alunos explorarão a motivação por trás do controle de versão de dados, entenderão suas diferenças em relação ao controle de versão de código e farão experiências com um problema de classificação simples. Eles revisarão os comandos básicos do Git, aprenderão sobre DVC e praticarão a configuração de um repositório. O capítulo termina com uma visão geral dos recursos e casos de uso do DVC, incluindo dados e modelos de controle de versão, CI/CD para machine learning, rastreamento de experimentos, pipelines e muito mais.

Exercise 1: Motivação para o controle de versão de dados Exercise 2: Anatomia de um modelo de machine learning Exercise 3: Diferenças entre o controle de versão de dados e de código Exercise 4: Entendendo os hiperparâmetros Exercise 5: Introdução a DVC Exercise 6: Trabalhando com o Git CLI Exercise 7: Revisão DVC CLI Exercise 8: DVC recursos e casos de uso Exercise 9: DVC dutos Exercise 10: CI/CD para machine learning

Este capítulo aborda a configuração do DVC, abrangendo aspectos como instalação, inicialização do repositório e a utilização do arquivo .dvcignore. Além disso, você navegará pela exploração do cache DVC e dos arquivos de preparação, transmitindo conhecimento sobre como adicionar e remover arquivos, gerenciar caches e compreender os mecanismos subjacentes usando o hash MD5. O capítulo também esclarece sobre os controles remotos do DVC, distinguindo-os dos controles remotos do Git, e orienta você sobre como adicioná-los, listá-los e modificá-los. Por fim, ele ensina você a interagir com esses controles remotos, enviando e extraindo dados, verificando versões específicas e buscando dados no cache.

Exercise 1: DVC Configuração e inicialização Exercise 2: Configuração DVC Exercise 3: Padrões .dvcignore Exercise 4: DVC Arquivos de cache e de teste Exercise 5: Trabalhando com o DVC Cache Exercise 6: Entendendo os arquivos .dvc Exercise 7: Configuração dos controles remotos DVC Exercise 8: Objetivo dos controles remotos DVC Exercise 9: Configure um controle remoto DVC Exercise 10: Interagindo com os controles remotos DVC Exercise 11: Controle de versão de dados usando DVC Remote Exercise 12: Verificação de dados com controle de versão

Este capítulo se concentra na automação dos pipelines do ML usando o DVC. Os alunos criam um arquivo de configuração que contém configurações e hiperparâmetros. Eles também aprendem sobre a visualização de pipeline usando gráficos acíclicos direcionados e usam comandos para descrever dependências, comandos e saídas. A execução dos pipelines do DVC é abordada, incluindo o treinamento de modelos locais e como o Git programa os metadados do DVC. Além disso, os alunos exploram o rastreamento de métricas e gráficos em DVC, incluindo como imprimir métricas, criar arquivos de gráficos e comparar métricas e gráficos em diferentes estágios do pipeline.

Exercise 1: Organização e refatoração de código

Exercício atual

Exercise 2: Entendendo os arquivos de parâmetros em DVC Exercise 3: Gravar um arquivo de parâmetros Exercise 4: Escrever e visualizar DVC pipelines Exercise 5: Projetando um pipeline DVC Exercise 6: Visualizando um pipeline DVC Exercise 7: Execução dos pipelines do DVC Exercise 8: DVC conceitos de execução de pipeline Exercise 9: Execute um pipeline de treinamento do modelo ML Exercise 10: Avaliação: Métricas e gráficos em DVC Exercise 11: Programa DVC Métricas Exercise 12: Adição de gráficos ao dvc.yaml Exercise 13: Parabéns!