En este primer capítulo verás por qué las empresas necesitan monitorizar tus modelos de Machine Learning en producción. Conocerás el flujo de trabajo ideal de monitorización y los pasos que lo componen, además de algunos de los retos a los que pueden enfrentarse los sistemas de monitorización en producción.

Por qué necesitas monitorizar tu modelo

¿Por qué fallan los modelos?

Los beneficios de los sistemas de monitorización

El flujo de trabajo ideal de monitorización

La importancia de monitorizar los KPI

Flujo de trabajo de monitorización ideal

Flujo de monitorización en un caso real

Retos del monitoreo de modelos de ML

Ground truth retrasada

Covariate shift vs concept drift

¿Qué es el ML Monitoring?

En el Capítulo 2, descubrirás la importancia fundamental de monitorizar el rendimiento dentro de un sistema de monitorización fiable. Exploraremos los retos habituales en entornos reales de producción, como la disponibilidad del ground truth. Al finalizar el capítulo, sabrás cómo actuar cuando los datos de ground truth se retrasan o no están disponibles, utilizando algoritmos de estimación del rendimiento.

Supervisar directamente el rendimiento técnico

Why performance first?

Diferentes desplazamientos de covariables

Disponibilidad de la verdad terreno

¿Hace falta estimar el rendimiento?

Supervisión del rendimiento en producción

Estimación del rendimiento

Consideraciones sobre CBPE

Estimación de rendimiento en producción

Algoritmos para la estimación del rendimiento

Conceptos teóricos de la monitorización

Ahora que ya conoces las bases del covariate shift y el concept drift en producción, vamos a profundizar un poco más. Al finalizar este capítulo, conocerás distintas formas de detectarlos y gestionarlos en escenarios del mundo real.

¿Qué es el covariate shift?

Características intercambiadas

Método de detección de drift

Cómo detectar el covariate shift

Cambios sutiles

Opciones

Verdadero

Falso

Métodos diferentes

¿Qué es el concept drift?

Tipo de concept drift

Interacción entre concept drift y covariate shift

¿Cómo gestionar el concept drift?

Adaptación en tiempo real

Detección y resolución del concept drift

Resumen

Detección de covariate shift y concept drift

Para asegurar el éxito a largo plazo de los modelos de Machine Learning, es fundamental saber cómo monitorizarlos eficazmente en producción. A medida que el Machine Learning se adopta más en el mundo empresarial, la ciencia de datos posdespliegue está cobrando protagonismo. Este curso cubre todos los conceptos esenciales para monitorizar sistemas de Machine Learning en producción, con el fin de mantener el valor de negocio, reducir el riesgo de fallos y aumentar la visibilidad.

<h2> Conceptos de supervisión del aprendizaje automático</h2>
Los modelos de aprendizaje automático influyen cada vez más en las decisiones del mundo real. Estos modelos necesitan supervisión para evitar fallos y garantizar que aportan valor empresarial a tu empresa. Este curso te introducirá en los conceptos fundamentales de la creación de un sistema sólido de supervisión de tus modelos en producción.
<br><br>
<h2>Descubre el flujo de trabajo de supervisión ideal</h2>
El curso comienza con el esquema de por dónde empezar a supervisar en producción y cómo estructurar los procesos en torno a ello. Cubriremos el flujo de trabajo básico mostrándote cómo detectar los problemas, identificar las causas raíz y resolverlos con ejemplos del mundo real.
<br><br>
<h2>Explora los retos de la supervisión de modelos en producción</h2>
Desplegar un modelo en producción es sólo el principio del ciclo de vida del modelo. Aunque funcione bien durante el desarrollo, puede fallar debido a los continuos cambios de los datos de producción. En este curso, explorarás las dificultades de controlar el rendimiento de un modelo, sobre todo cuando no existe una verdad de base.
<br><br>
<h2> Comprender en Detalle el Desplazamiento de Covariables y la Deriva de Conceptos</h2>
La última parte de este curso se centrará en dos tipos de fallo silencioso del modelo. Conocerás en detalle los distintos tipos de desplazamientos de covariables y de deriva conceptual, su influencia en el rendimiento del modelo y cómo detectarlos y evitarlos.

MLOps Concepts

Supervised Learning with scikit-learn

Aprende sobre los desafíos de monitorear modelos de aprendizaje automático en producción y cómo abordarlos.

Conceptos de Monitoring en Machine Learning

Retos al supervisar modelos de machine learning en producción: deriva de datos y conceptos y métodos para la degradación de los modelos.

Ingeniero de Aprendizaje Automático

Machine learning en la producción en Python

El reentrenamiento del modelo es una solución costosa para gestionar el concept drift en modelos grandes y big data

El reentrenamiento periódico permite mantener el modelo actualizado con los patrones recientes

El concept drift recurrente puede ocurrir durante eventos como Black Friday o Navidad

El Online Learning es sensible a datos ruidosos, lo que puede llevar a la mejora del modelo

Los métodos basados en error no requieren ground truth

Detectar concept drift usando un nuevo modelo entrenado con datos de test y de producción es una solución barata

Detección y resolución del concept drift

Conceptos de Monitoring en Machine Learning

Ejercicio interactivo práctico