Criando um pipeline DVC

Imagine um exemplo simples de fluxo de trabalho em que um documento é impresso e depois digitalizado para criar um PDF assinado, com o DVC gerenciando as dependências e as saídas de cada etapa.

A etapa print depende das instruções de impressão descritas em print.sh e produz a saída pages. A etapa scan depende das instruções em scan.sh e de pages (saída de printer) e produz a saída signed.pdf.

Sua tarefa é projetar um pipeline DVC descrevendo esse fluxo usando o comando dvc stage add. A sua sintaxe é

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Você pode adicionar múltiplas dependências e saídas repetindo as flags -d e -o, respectivamente.

OBSERVAÇÃO: o DVC já foi inicializado na configuração do exercício. Não é necessário executar dvc init novamente.

Este exercício faz parte do curso

CI/CD para Machine Learning

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

CI/CD para Machine Learning

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, você vai explorar os princípios essenciais de Continuous Integration/Continuous Delivery (CI/CD) e YAML. Você vai entender o ciclo de vida do desenvolvimento de software e termos-chave como build, test e deploy. Descubra as diferenças entre Continuous Integration, Continuous Delivery e Continuous Deployment. Além disso, investigue a importância de CI/CD em Machine Learning e em experimentação.

Exercise 1: Introdução a Continuous Integration/Continuous Delivery para Machine Learning Exercise 2: Continuous deployment e delivery Exercise 3: Fluxo de trabalho de machine learning Exercise 4: Introdução ao YAML Exercise 5: Sintaxe YAML Exercise 6: Mapeamentos e sequências em YAML Exercise 7: Introdução ao GitHub Actions Exercise 8: Utilidade do GitHub Actions Exercise 9: Anatomia do GitHub Actions

Prepare-se para explorar o GitHub Actions (GHA), uma plataforma influente para executar fluxos de trabalho de CI/CD. Conheça os diversos componentes do GHA, abrangendo events, actions, jobs, steps, runners e context. Entenda como criar workflows que disparam com eventos como push e pull requests e como ajustar as máquinas runner. Mergulhe no aprendizado prático ao configurar pipelines fundamentais de CI e compreender os detalhes do log do GHA.

Exercise 1: YAML intermediário Exercise 2: Encontre a combinação correta Exercise 3: Projete um workflow de Continuous Integration Exercise 4: Configurando um pipeline básico de CI Exercise 5: Interpretar workflow do GitHub Actions Exercise 6: Escreva um Workflow do GitHub Actions Exercise 7: Executando o código do repositório Exercise 8: Branches de feature no modelo de repositório compartilhado Exercise 9: Executando código Python no GitHub Actions Exercise 10: Variáveis de ambiente e segredos Exercise 11: O que é o GITHUB_TOKEN?Exercise 12: Trabalhando com variáveis de ambiente Exercise 13: Trabalhando com secrets

Neste capítulo, você vai explorar a integração do treinamento de modelos de Machine Learning em um pipeline do GitHub Actions usando o Continuous Machine Learning GitHub Action. Você vai gerar um relatório completo em Markdown, incluindo métricas e gráficos do modelo. Também vai se aprofundar em versionamento de dados em Machine Learning adotando o Data Version Control (DVC) para acompanhar mudanças nos dados. O capítulo também aborda a configuração de remotes do DVC e a transferência de conjuntos de dados. Por fim, você vai explorar pipelines do DVC, configurando um arquivo YAML do DVC para orquestrar um treinamento de modelo reprodutível.

Exercise 1: Treinamento de modelos com GitHub Actions Exercise 2: Desenvolva um modelo de classificação Exercise 3: Treinar um modelo de classificação Exercise 4: Configurar o treino de modelo usando CML Exercise 5: Versionando conjuntos de dados com o Data Version Control Exercise 6: Por que os arquivos .dvc são necessários?Exercise 7: Versionamento de dados na prática Exercise 8: Interagindo com remotos do DVC Exercise 9: Explorando os benefícios dos remotos do DVC Exercise 10: DVC remotes em ação Exercise 11: Pipelines do DVC Exercise 12: Criando um pipeline DVC

Exercício atual

Exercise 13: Treinar modelos de ML com DVC

Neste capítulo, você vai direcionar sua atenção para a análise de desempenho do modelo e o ajuste de hiperparâmetros. Você vai adquirir experiência prática ao comparar métricas e visualizações entre diferentes branches para avaliar mudanças no desempenho do modelo. Você vai realizar ajuste de hiperparâmetros usando o GridSearchCV do scikit-learn. Além disso, você vai explorar a automação de pull requests usando a configuração de modelo ideal.

Exercise 1: Comparando métricas e gráficos no DVC Exercise 2: Adicionando métricas e gráficos ao dvc.yaml Exercise 3: Comparando métricas entre branches do Git Exercise 4: Executar pipeline DVC no GitHub Actions Exercise 5: Ajuste de hiperparâmetros com DVC Exercise 6: Adicionando ajuste de hiperparâmetros ao dvc.yaml Exercise 7: Executando pipelines DVC de ajuste de hiperparâmetros Exercise 8: Workflow do GitHub Actions para ajuste de hiperparâmetros Exercise 9: Acoplamento frouxo Exercise 10: Configurar Hyperparameter Tuning no GitHub Actions Exercise 11: Parabéns!