El primer capítulo explicará por qué las empresas necesitan supervisar sus modelos de aprendizaje automático en producción. Conocerás el flujo de trabajo ideal de la monitorización y los pasos que implica, así como algunos de los retos a los que pueden enfrentarse los sistemas de monitorización en producción.

Por qué necesitas controlar tu modelo

¿Por qué fracasan los modelos?

Las ventajas de los sistemas de vigilancia

El flujo de trabajo de supervisión ideal

La importancia de vigilar KPIs

Flujo de trabajo de supervisión ideal

Seguimiento del flujo de trabajo en un escenario real

Retos de la supervisión de los modelos ML

Retraso de la verdad sobre el terreno

Desplazamiento de covariables vs deriva de conceptos

Qué es ML Monitorización 

En el Capítulo 2, descubrirás la importancia fundamental de la supervisión del rendimiento en un sistema de supervisión fiable. Exploraremos los retos habituales a los que se enfrentan los entornos de producción del mundo real, como la disponibilidad de la verdad sobre el terreno. Al final del capítulo, sabrás cómo manejar situaciones en las que los datos de la verdad sobre el terreno están retrasados o ausentes , utilizando algoritmos de estimación del rendimiento.

Supervisar directamente el rendimiento técnico

¿Por qué primero el rendimiento?

Diferentes desplazamientos de covariables

Disponibilidad de la verdad sobre el terreno

¿Es necesaria una estimación del rendimiento?

Control del rendimiento en producción

Estimación del rendimiento

CBPE consideraciones

Estimación del rendimiento en producción

Algoritmos para estimar el rendimiento

Conceptos teóricos de seguimiento 

Ahora que ya conoces los fundamentos del desplazamiento de covariables y la deriva de conceptos en la producción, vamos a profundizar un poco más. Al final de este capítulo, conocerás las distintas formas de detectarlos y manejarlos en situaciones reales.

¿Qué es el desplazamiento de covariables?

Funciones intercambiadas

Método de detección de la deriva

Cómo detectar el desplazamiento de covariables

Cambios sutiles

Opciones

Verdadero

Falso

Diferentes métodos

¿Qué es la deriva conceptual?

Tipo de deriva conceptual

Interacción entre la deriva conceptual y el cambio de covariable

¿Cómo gestionar la deriva conceptual?

Adaptación en tiempo real

Detección y resolución de la deriva conceptual

Resumen

Detección de Desplazamiento de Covariables y Deriva de Conceptos

Para garantizar el éxito a largo plazo de los modelos de aprendizaje automático, es esencial comprender cómo supervisarlos eficazmente en producción. A medida que el aprendizaje automático se adopta más ampliamente en el mundo empresarial, la ciencia de los datos posterior a la implantación está surgiendo como un campo importante. Este curso abarca todos los conceptos esenciales relacionados con la supervisión de los sistemas de aprendizaje automático en producción, con el fin de mantener el valor empresarial, reducir el riesgo de fallos y aumentar la visibilidad.

<h2> Conceptos de supervisión del aprendizaje automático</h2>
Los modelos de aprendizaje automático influyen cada vez más en las decisiones del mundo real. Estos modelos necesitan supervisión para evitar fallos y garantizar que aportan valor empresarial a tu empresa. Este curso te introducirá en los conceptos fundamentales de la creación de un sistema sólido de supervisión de tus modelos en producción.
<br><br>
<h2>Descubre el flujo de trabajo de supervisión ideal</h2>
El curso comienza con el esquema de por dónde empezar a supervisar en producción y cómo estructurar los procesos en torno a ello. Cubriremos el flujo de trabajo básico mostrándote cómo detectar los problemas, identificar las causas raíz y resolverlos con ejemplos del mundo real.
<br><br>
<h2>Explora los retos de la supervisión de modelos en producción</h2>
Desplegar un modelo en producción es sólo el principio del ciclo de vida del modelo. Aunque funcione bien durante el desarrollo, puede fallar debido a los continuos cambios de los datos de producción. En este curso, explorarás las dificultades de controlar el rendimiento de un modelo, sobre todo cuando no existe una verdad de base.
<br><br>
<h2> Comprender en Detalle el Desplazamiento de Covariables y la Deriva de Conceptos</h2>
La última parte de este curso se centrará en dos tipos de fallo silencioso del modelo. Conocerás en detalle los distintos tipos de desplazamientos de covariables y de deriva conceptual, su influencia en el rendimiento del modelo y cómo detectarlos y evitarlos.

MLOps Concepts

Supervised Learning with scikit-learn

Aprende sobre los desafíos de monitorear modelos de aprendizaje automático en producción y cómo abordarlos.

Supervisión de conceptos de aprendizaje automático

Ingeniero de Aprendizaje Automático

Machine learning en la producción en Python

El método de detección de desviación multivariante mide los cambios en la distribución conjunta para identificar un cambio de covariable

La distancia Jensen-Shannon mide la similitud utilizando la divergencia KL

El método de Kolmogorov-Smirnov puede generar falsas alertas positivas

La prueba Chi-cuadrado y el método L-infinito funcionan tanto para características continuas como categóricas

El algoritmo PCA utilizado en la detección multivariante de la deriva expande los datos a una dimensión superior para un mejor análisis

Diferentes métodos

Supervisión de conceptos de aprendizaje automático

Ejercicio interactivo práctico