The first chapter will explain why businesses need to monitor your machine  learning models in production. You will learn about the ideal monitoring  workflow and the steps involved, as well as some of the challenges that  monitoring systems can face in production.

Por qué necesitas monitorizar tu modelo

¿Por qué fallan los modelos?

Los beneficios de los sistemas de monitorización

El flujo de trabajo ideal de monitorización

La importancia de monitorizar los KPI

Opciones

Monitorización del rendimiento

Análisis de causa raíz

Resolución de problemas

Flujo de trabajo ideal de monitorización

Proceso de flujo de monitorización

Flujo de monitorización en un caso real

Retos del monitoreo de modelos de ML

Ground truth inmediata

Ground truth retrasada

Options

Covariate shift

Concept drift

Covariate shift vs concept drift

What is ML Monitoring 

In Chapter 2, you'll discover the fundamental importance of performance  monitoring in a reliable monitoring system. We'll explore the common challenges faced in real-world production environments, such as the availability of ground truth. By the end of the chapter, you'll know how to handle situations when ground truth data is delayed or absent , using performance estimation algorithms.

Monitoring technical performance directly

Why performance first?

Different covariate shifts

Availability of ground truth

Is performance estimation required?

Performance monitoring in production

Performance estimation

CBPE considerations

Performance estimation in production

Algorithms for performance estimation

Theoretical Concepts of monitoring 

Now that you know the basics of covariate shift and concept drift in production, let''s dive a little bit deeper. At the end of this chapter, you will know the different ways to detect and handle them in real-world scenarios.

What is covariate shift?

Swapped features

Drift detection method

How to detect covariate shift

Subtle changes

Different methods

What is concept drift?

Type of concept drift

Concept drift and covariate shift interaction

How to handle concept drift?

Real-time adaptation

Concept drift detection and resolution

Wrap-up

Covariate Shift and Concept Drift Detection

Para asegurar el éxito a largo plazo de los modelos de Machine Learning, es fundamental saber cómo monitorizarlos eficazmente en producción. A medida que el Machine Learning se adopta más en el mundo empresarial, la ciencia de datos posdespliegue está cobrando protagonismo. Este curso cubre todos los conceptos esenciales para monitorizar sistemas de Machine Learning en producción, con el fin de mantener el valor de negocio, reducir el riesgo de fallos y aumentar la visibilidad.

<h2> Conceptos de supervisión del aprendizaje automático</h2>
Los modelos de aprendizaje automático influyen cada vez más en las decisiones del mundo real. Estos modelos necesitan supervisión para evitar fallos y garantizar que aportan valor empresarial a tu empresa. Este curso te introducirá en los conceptos fundamentales de la creación de un sistema sólido de supervisión de tus modelos en producción.
<br><br>
<h2>Descubre el flujo de trabajo de supervisión ideal</h2>
El curso comienza con el esquema de por dónde empezar a supervisar en producción y cómo estructurar los procesos en torno a ello. Cubriremos el flujo de trabajo básico mostrándote cómo detectar los problemas, identificar las causas raíz y resolverlos con ejemplos del mundo real.
<br><br>
<h2>Explora los retos de la supervisión de modelos en producción</h2>
Desplegar un modelo en producción es sólo el principio del ciclo de vida del modelo. Aunque funcione bien durante el desarrollo, puede fallar debido a los continuos cambios de los datos de producción. En este curso, explorarás las dificultades de controlar el rendimiento de un modelo, sobre todo cuando no existe una verdad de base.
<br><br>
<h2> Comprender en Detalle el Desplazamiento de Covariables y la Deriva de Conceptos</h2>
La última parte de este curso se centrará en dos tipos de fallo silencioso del modelo. Conocerás en detalle los distintos tipos de desplazamientos de covariables y de deriva conceptual, su influencia en el rendimiento del modelo y cómo detectarlos y evitarlos.

MLOps Concepts

Supervised Learning with scikit-learn

Aprende sobre los desafíos de monitorear modelos de aprendizaje automático en producción y cómo abordarlos.

Conceptos de Monitoring en Machine Learning

Retos al supervisar modelos de machine learning en producción: deriva de datos y conceptos y métodos para la degradación de los modelos.

Ingeniero de Aprendizaje Automático

Machine learning en la producción en Python

Aprovechar la experiencia del dominio para entender por qué falla el modelo

Flujo de trabajo ideal de monitorización

Conceptos de Monitoring en Machine Learning

Ejercicio interactivo práctico