Alertas

Como has visto en esta lección, puedes monitorizar datos en producción usando lo siguiente:

métodos deterministas: comprobando si están presentes todos los atributos requeridos y si sus valores pertenecen a conjuntos estrictamente definidos; y
métodos estadísticos: comprobando si la distribución de los datos observados en producción es significativamente diferente de la distribución observada durante el entrenamiento.

También has visto que estos últimos pueden ser muy sensibles incluso a cambios mínimos y generar un gran número de alertas poco informativas (no accionables).

Pero ¿por qué es realmente un problema?

Este ejercicio forma parte del curso

Despliegue y ciclo de vida en MLOps

Ejercicio interactivo práctico

Pon en práctica la teoría con uno de nuestros ejercicios interactivos

Empezar ejercicio

Este ejercicio forma parte del curso

Despliegue y ciclo de vida en MLOps

AvanzadoNivel de habilidad

4.8+

Comienza el curso gratis

Este capítulo ofrece una visión general de alto nivel de los principios de MLOps y de los componentes del marco importantes para el despliegue y el ciclo de vida.

Exercise 1: El marco moderno de MLOps Exercise 2: Flujos de trabajo de ML Exercise 3: Beneficios de MLOps Exercise 4: Fases del ciclo de vida Exercise 5: Aplicación vs. modelo Exercise 6: Retirada Exercise 7: El ciclo de vida del modelo: recapitulación Exercise 8: Componentes de MLOps Exercise 9: Secuencia automatizada Exercise 10: Almacenes y registros Exercise 11: ¿DevOps o MLOps?

Este capítulo está dedicado a todas las consideraciones que debemos tener ya en la fase de desarrollo para garantizar que todo fluya cuando lleguemos a operaciones. Nuestro objetivo final es explicar cómo entrenar el modelo siguiendo las mejores prácticas de MLOps y construir un paquete de modelo que facilite un despliegue fluido, la reproducibilidad y la monitorización tras el despliegue.

Exercise 1: Desarrollo orientado al despliegue Exercise 2: Probar tu modelo de Machine Learning Exercise 3: Mejor momento para empezar a desplegar Exercise 4: Perfilado, versionado y almacenes de características Exercise 5: Propiedades de los feature stores Exercise 6: Ventajas del profiling y de los feature stores Exercise 7: Garantizar la reproducibilidad Exercise 8: Pipelines de construcción de modelos en CI/CD Exercise 9: Pipelines diferentes Exercise 10: Propiedades de la model build pipeline Exercise 11: Integración CI/CD Exercise 12: Empaquetado de modelos Exercise 13: Formatos de modelo Exercise 14: Paquete completo

Este capítulo aborda cuestiones críticas de operaciones de modelos como: - ¿De qué formas podemos servir nuestros modelos? - ¿Qué es una API y cuáles son sus funcionalidades clave? - ¿Cómo probamos a fondo nuestro servicio antes de ponerlo a disposición de las personas usuarias finales? - ¿Cómo actualizamos modelos en producción sin interrumpir el servicio? Aprenderás sobre predicción por lotes, predicción en tiempo real, validación de datos de entrada y salida, pruebas unitarias, pruebas de integración, despliegue canario y mucho más.

Exercise 1: Modos de servicio Exercise 2: ¿Offline u online?Exercise 3: Cuando el tiempo importa... un poco Exercise 4: Crear la API Exercise 5: Cliente-servidor Exercise 6: Funcionalidades de la API Exercise 7: Progresión del despliegue y pruebas Exercise 8: ¿Qué tipo de prueba es?Exercise 9: Progresión entre entornos Exercise 10: Pruebas por entorno Exercise 11: Estrategias de despliegue de modelos Exercise 12: Una estrategia de despliegue adecuada Exercise 13: Orden de riesgo Exercise 14: La sombra de la sombra

Este capítulo final está dedicado a la monitorización y el mantenimiento de servicios de ML después de su despliegue, así como a la gobernanza de modelos. Verás conceptos clave como latencia de verificación, cambio de covariables, deriva de concepto, sistemas con intervención humana y más.

Exercise 1: Supervisión de servicios de Machine Learning Exercise 2: Shift vs drift Exercise 3: Latencia Exercise 4: ¿Ya?Exercise 5: Supervisión y alertas Exercise 6: El sistema de monitorización Exercise 7: Alertas

Ejercicio actual

Exercise 8: Mantenimiento del modelo Exercise 9: Centrado en datos vs. centrado en modelo Exercise 10: Human-in-the-Loop Exercise 11: Gobernanza de modelos Exercise 12: Elementos de gobernanza Exercise 13: Fases de la gobernanza Exercise 14: Clasificación del riesgo Exercise 15: Resumen