Versionamento de dados na prática

O Data Version Control (DVC) oferece uma abordagem sistemática para versionar dados, um aspecto crítico que muitas vezes é deixado de lado. Com o DVC, você consegue rastrear precisamente as mudanças nos seus conjuntos de dados, garantindo reprodutibilidade, colaboração e facilidade para solucionar problemas. É a sua proteção contra desafios relacionados a dados, promovendo confiança e eficiência nos seus projetos orientados por dados.

Neste exercício, você vai praticar como inicializar um projeto DVC e versionar um conjunto de dados. O Git já foi inicializado para este projeto.

Este exercício faz parte do curso

CI/CD para Machine Learning

Ver curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

CI/CD para Machine Learning

AvançadoNível de habilidade

4.8+

265 reviews

Iniciar curso de graça

Neste capítulo, você vai explorar os princípios essenciais de Continuous Integration/Continuous Delivery (CI/CD) e YAML. Você vai entender o ciclo de vida do desenvolvimento de software e termos-chave como build, test e deploy. Descubra as diferenças entre Continuous Integration, Continuous Delivery e Continuous Deployment. Além disso, investigue a importância de CI/CD em Machine Learning e em experimentação.

Exercise 1: Introdução a Continuous Integration/Continuous Delivery para Machine Learning Exercise 2: Continuous deployment e delivery Exercise 3: Fluxo de trabalho de machine learning Exercise 4: Introdução ao YAML Exercise 5: Sintaxe YAML Exercise 6: Mapeamentos e sequências em YAML Exercise 7: Introdução ao GitHub Actions Exercise 8: Utilidade do GitHub Actions Exercise 9: Anatomia do GitHub Actions

Prepare-se para explorar o GitHub Actions (GHA), uma plataforma influente para executar fluxos de trabalho de CI/CD. Conheça os diversos componentes do GHA, abrangendo events, actions, jobs, steps, runners e context. Entenda como criar workflows que disparam com eventos como push e pull requests e como ajustar as máquinas runner. Mergulhe no aprendizado prático ao configurar pipelines fundamentais de CI e compreender os detalhes do log do GHA.

Exercise 1: YAML intermediário Exercise 2: Encontre a combinação correta Exercise 3: Projete um workflow de Continuous Integration Exercise 4: Configurando um pipeline básico de CI Exercise 5: Interpretar workflow do GitHub Actions Exercise 6: Escreva um Workflow do GitHub Actions Exercise 7: Executando o código do repositório Exercise 8: Branches de feature no modelo de repositório compartilhado Exercise 9: Executando código Python no GitHub Actions Exercise 10: Variáveis de ambiente e segredos Exercise 11: O que é o GITHUB_TOKEN?Exercise 12: Trabalhando com variáveis de ambiente Exercise 13: Trabalhando com secrets

Neste capítulo, você vai explorar a integração do treinamento de modelos de Machine Learning em um pipeline do GitHub Actions usando o Continuous Machine Learning GitHub Action. Você vai gerar um relatório completo em Markdown, incluindo métricas e gráficos do modelo. Também vai se aprofundar em versionamento de dados em Machine Learning adotando o Data Version Control (DVC) para acompanhar mudanças nos dados. O capítulo também aborda a configuração de remotes do DVC e a transferência de conjuntos de dados. Por fim, você vai explorar pipelines do DVC, configurando um arquivo YAML do DVC para orquestrar um treinamento de modelo reprodutível.

Exercise 1: Treinamento de modelos com GitHub Actions Exercise 2: Desenvolva um modelo de classificação Exercise 3: Treinar um modelo de classificação Exercise 4: Configurar o treino de modelo usando CML Exercise 5: Versionando conjuntos de dados com o Data Version Control Exercise 6: Por que os arquivos .dvc são necessários?Exercise 7: Versionamento de dados na prática

Exercício atual

Exercise 8: Interagindo com remotos do DVC Exercise 9: Explorando os benefícios dos remotos do DVC Exercise 10: DVC remotes em ação Exercise 11: Pipelines do DVC Exercise 12: Criando um pipeline DVC Exercise 13: Treinar modelos de ML com DVC

Neste capítulo, você vai direcionar sua atenção para a análise de desempenho do modelo e o ajuste de hiperparâmetros. Você vai adquirir experiência prática ao comparar métricas e visualizações entre diferentes branches para avaliar mudanças no desempenho do modelo. Você vai realizar ajuste de hiperparâmetros usando o GridSearchCV do scikit-learn. Além disso, você vai explorar a automação de pull requests usando a configuração de modelo ideal.

Exercise 1: Comparando métricas e gráficos no DVC Exercise 2: Adicionando métricas e gráficos ao dvc.yaml Exercise 3: Comparando métricas entre branches do Git Exercise 4: Executar pipeline DVC no GitHub Actions Exercise 5: Ajuste de hiperparâmetros com DVC Exercise 6: Adicionando ajuste de hiperparâmetros ao dvc.yaml Exercise 7: Executando pipelines DVC de ajuste de hiperparâmetros Exercise 8: Workflow do GitHub Actions para ajuste de hiperparâmetros Exercise 9: Acoplamento frouxo Exercise 10: Configurar Hyperparameter Tuning no GitHub Actions Exercise 11: Parabéns!