Creación de un pipeline de DVC

Imagina un ejemplo sencillo de flujo de trabajo donde se imprime un documento y luego se escanea para crear un PDF firmado, con DVC gestionando las dependencias y salidas de cada etapa.

La etapa print depende de las instrucciones de impresión definidas en print.sh y produce la salida pages. La etapa scan depende de las instrucciones en scan.sh y de pages (salida de printer) y produce como salida signed.pdf.

Tu tarea es diseñar un pipeline de DVC que describa el flujo de trabajo usando el comando dvc stage add. Su sintaxis es

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Puedes añadir múltiples dependencias y salidas repitiendo las banderas -d y -o, respectivamente.

NOTA: DVC ya ha sido inicializado en la configuración del ejercicio. No es necesario ejecutar dvc init de nuevo.

Este ejercicio forma parte del curso

CI/CD para Machine Learning

Ejercicio interactivo práctico

Pon en práctica la teoría con uno de nuestros ejercicios interactivos

Empezar ejercicio

Este ejercicio forma parte del curso

CI/CD para Machine Learning

AvanzadoNivel de habilidad

4.8+

Comienza el curso gratis

En este capítulo, explorarás los principios esenciales de Continuous Integration/Continuous Delivery (CI/CD) y YAML. Comprenderás el ciclo de vida del desarrollo de software y términos clave como build, test y deploy. Descubre las diferencias entre Continuous Integration, Continuous Delivery y Continuous Deployment. Además, investigarás la importancia de CI/CD en Machine Learning y la experimentación.

Exercise 1: Introducción a la Integración continua/Entrega continua para Machine Learning Exercise 2: Continuous deployment y delivery Exercise 3: Flujo de trabajo de machine learning Exercise 4: Introducción a YAML Exercise 5: Sintaxis de YAML Exercise 6: Mapeos y secuencias en YAML Exercise 7: Introducción a GitHub Actions Exercise 8: Utilidad de GitHub Actions Exercise 9: Anatomía de GitHub Actions

Prepárate para explorar GitHub Actions (GHA), una plataforma muy potente para ejecutar flujos de trabajo de CI/CD. Descubre los distintos componentes de GHA: events, actions, jobs, steps, runners y context. Aprende a crear flujos de trabajo que se activen con eventos como push y pull requests, y a personalizar las máquinas runner. Sumérgete en la práctica configurando canalizaciones básicas de CI y comprendiendo los detalles del registro (log) de GHA.

Exercise 1: YAML intermedio Exercise 2: Encuentra la combinación correcta Exercise 3: Diseña un flujo de trabajo de Integración Continua Exercise 4: Configurar una canalización CI básica Exercise 5: Interpretar un flujo de trabajo de GitHub Actions Exercise 6: Escribe un flujo de trabajo de GitHub Actions Exercise 7: Ejecutar código del repositorio Exercise 8: Ramas de funcionalidad en el modelo de repositorio compartido Exercise 9: Ejecutar código de Python en GitHub Actions Exercise 10: Variables de entorno y secretos Exercise 11: ¿Qué es GITHUB_TOKEN?Exercise 12: Trabajar con variables de entorno Exercise 13: Trabajar con secretos

En este capítulo, integrarás el entrenamiento de modelos de Machine Learning en una canalización de GitHub Action usando Continuous Machine Learning GitHub Action. Generarás un informe completo en Markdown con métricas y gráficos del modelo. También profundizarás en el versionado de datos en Machine Learning adoptando Data Version Control (DVC) para rastrear cambios en los datos. El capítulo también cubre la configuración de remotos de DVC y la transferencia de conjuntos de datos. Por último, explorarás las canalizaciones de DVC, configurando un archivo YAML de DVC para orquestar entrenamientos reproducibles.

Exercise 1: Entrenamiento de modelos con GitHub Actions Exercise 2: Desarrolla un modelo de clasificación Exercise 3: Entrena un modelo de clasificación Exercise 4: Configura el entrenamiento del modelo con CML Exercise 5: Versionado de conjuntos de datos con Data Version Control Exercise 6: ¿Por qué son necesarios los archivos .dvc?Exercise 7: Control de versiones de datos en acción Exercise 8: Interactuar con remotos de DVC Exercise 9: Explora las ventajas de los remotos de DVC Exercise 10: DVC remotes in action Exercise 11: DVC Pipelines Exercise 12: Creación de un pipeline de DVC

Ejercicio actual

Exercise 13: Entrena modelos de ML con DVC

En este capítulo, centrarás tu atención en el análisis del rendimiento del modelo y el ajuste de hiperparámetros. Adquirirás experiencia práctica comparando métricas y visualizaciones entre distintas ramas para evaluar cambios en el rendimiento del modelo. Realizarás ajuste de hiperparámetros utilizando GridSearchCV de scikit-learn. Además, profundizarás en la automatización de pull requests usando la configuración óptima del modelo.

Exercise 1: Comparar métricas y gráficos en DVC Exercise 2: Añadir métricas y gráficos a dvc.yaml Exercise 3: Comparar métricas entre ramas de Git Exercise 4: Ejecutar la canalización de DVC en GitHub Actions Exercise 5: Ajuste de hiperparámetros con DVC Exercise 6: Añadir ajuste de hiperparámetros a dvc.yaml Exercise 7: Ejecución de pipelines de DVC para ajustar hiperparámetros Exercise 8: Workflow de GitHub Actions para ajustar hiperparámetros Exercise 9: Acoplamiento débil Exercise 10: Configura el ajuste de hiperparámetros en GitHub Actions Exercise 11: ¡Enhorabuena!