El sistema de monitorización

A estas alturas, está claro que una aplicación de ML es mucho más que el modelo y que cada componente puede ser un punto de fallo.

Por eso, contar con un sistema de monitorización completo es fundamental para poder detectar y resolver problemas en producción con rapidez.

¿Cuáles son algunas características esenciales que debería tener un sistema así?

Este ejercicio forma parte del curso

Despliegue y ciclo de vida en MLOps

Ejercicio interactivo práctico

Pon en práctica la teoría con uno de nuestros ejercicios interactivos

Empezar ejercicio

Este ejercicio forma parte del curso

Despliegue y ciclo de vida en MLOps

AvanzadoNivel de habilidad

4.8+

Comienza el curso gratis

Este capítulo ofrece una visión general de alto nivel de los principios de MLOps y de los componentes del marco importantes para el despliegue y el ciclo de vida.

Exercise 1: El marco moderno de MLOps Exercise 2: Flujos de trabajo de ML Exercise 3: Beneficios de MLOps Exercise 4: Fases del ciclo de vida Exercise 5: Aplicación vs. modelo Exercise 6: Retirada Exercise 7: El ciclo de vida del modelo: recapitulación Exercise 8: Componentes de MLOps Exercise 9: Secuencia automatizada Exercise 10: Almacenes y registros Exercise 11: ¿DevOps o MLOps?

Este capítulo está dedicado a todas las consideraciones que debemos tener ya en la fase de desarrollo para garantizar que todo fluya cuando lleguemos a operaciones. Nuestro objetivo final es explicar cómo entrenar el modelo siguiendo las mejores prácticas de MLOps y construir un paquete de modelo que facilite un despliegue fluido, la reproducibilidad y la monitorización tras el despliegue.

Exercise 1: Desarrollo orientado al despliegue Exercise 2: Probar tu modelo de Machine Learning Exercise 3: Mejor momento para empezar a desplegar Exercise 4: Perfilado, versionado y almacenes de características Exercise 5: Propiedades de los feature stores Exercise 6: Ventajas del profiling y de los feature stores Exercise 7: Garantizar la reproducibilidad Exercise 8: Pipelines de construcción de modelos en CI/CD Exercise 9: Pipelines diferentes Exercise 10: Propiedades de la model build pipeline Exercise 11: Integración CI/CD Exercise 12: Empaquetado de modelos Exercise 13: Formatos de modelo Exercise 14: Paquete completo

Este capítulo aborda cuestiones críticas de operaciones de modelos como: - ¿De qué formas podemos servir nuestros modelos? - ¿Qué es una API y cuáles son sus funcionalidades clave? - ¿Cómo probamos a fondo nuestro servicio antes de ponerlo a disposición de las personas usuarias finales? - ¿Cómo actualizamos modelos en producción sin interrumpir el servicio? Aprenderás sobre predicción por lotes, predicción en tiempo real, validación de datos de entrada y salida, pruebas unitarias, pruebas de integración, despliegue canario y mucho más.

Exercise 1: Modos de servicio Exercise 2: ¿Offline u online?Exercise 3: Cuando el tiempo importa... un poco Exercise 4: Crear la API Exercise 5: Cliente-servidor Exercise 6: Funcionalidades de la API Exercise 7: Progresión del despliegue y pruebas Exercise 8: ¿Qué tipo de prueba es?Exercise 9: Progresión entre entornos Exercise 10: Pruebas por entorno Exercise 11: Estrategias de despliegue de modelos Exercise 12: Una estrategia de despliegue adecuada Exercise 13: Orden de riesgo Exercise 14: La sombra de la sombra

Este capítulo final está dedicado a la monitorización y el mantenimiento de servicios de ML después de su despliegue, así como a la gobernanza de modelos. Verás conceptos clave como latencia de verificación, cambio de covariables, deriva de concepto, sistemas con intervención humana y más.

Exercise 1: Supervisión de servicios de Machine Learning Exercise 2: Shift vs drift Exercise 3: Latencia Exercise 4: ¿Ya?Exercise 5: Supervisión y alertas Exercise 6: El sistema de monitorización

Ejercicio actual

Exercise 7: Alertas Exercise 8: Mantenimiento del modelo Exercise 9: Centrado en datos vs. centrado en modelo Exercise 10: Human-in-the-Loop Exercise 11: Gobernanza de modelos Exercise 12: Elementos de gobernanza Exercise 13: Fases de la gobernanza Exercise 14: Clasificación del riesgo Exercise 15: Resumen