El primer capítulo explicará por qué las empresas necesitan supervisar sus modelos de aprendizaje automático en producción. Conocerás el flujo de trabajo ideal de la monitorización y los pasos que implica, así como algunos de los retos a los que pueden enfrentarse los sistemas de monitorización en producción.

Por qué necesitas controlar tu modelo

¿Por qué fracasan los modelos?

Las ventajas de los sistemas de vigilancia

El flujo de trabajo de supervisión ideal

La importancia de vigilar KPIs

Flujo de trabajo de supervisión ideal

Seguimiento del flujo de trabajo en un escenario real

Retos de la supervisión de los modelos ML

Retraso de la verdad sobre el terreno

Desplazamiento de covariables vs deriva de conceptos

Qué es ML Monitorización 

En el Capítulo 2, descubrirás la importancia fundamental de la supervisión del rendimiento en un sistema de supervisión fiable. Exploraremos los retos habituales a los que se enfrentan los entornos de producción del mundo real, como la disponibilidad de la verdad sobre el terreno. Al final del capítulo, sabrás cómo manejar situaciones en las que los datos de la verdad sobre el terreno están retrasados o ausentes , utilizando algoritmos de estimación del rendimiento.

Supervisar directamente el rendimiento técnico

¿Por qué primero el rendimiento?

Diferentes desplazamientos de covariables

Disponibilidad de la verdad sobre el terreno

¿Es necesaria una estimación del rendimiento?

Control del rendimiento en producción

Estimación del rendimiento

CBPE consideraciones

Estimación del rendimiento en producción

Algoritmos para estimar el rendimiento

Conceptos teóricos de seguimiento 

Ahora que ya conoces los fundamentos del desplazamiento de covariables y la deriva de conceptos en la producción, vamos a profundizar un poco más. Al final de este capítulo, conocerás las distintas formas de detectarlos y manejarlos en situaciones reales.

¿Qué es el desplazamiento de covariables?

Funciones intercambiadas

Método de detección de la deriva

Cómo detectar el desplazamiento de covariables

Cambios sutiles

Opciones

Verdadero

Falso

Diferentes métodos

¿Qué es la deriva conceptual?

Tipo de deriva conceptual

Interacción entre la deriva conceptual y el cambio de covariable

¿Cómo gestionar la deriva conceptual?

Adaptación en tiempo real

Detección y resolución de la deriva conceptual

Resumen

Detección de Desplazamiento de Covariables y Deriva de Conceptos

Para garantizar el éxito a largo plazo de los modelos de aprendizaje automático, es esencial comprender cómo supervisarlos eficazmente en producción. A medida que el aprendizaje automático se adopta más ampliamente en el mundo empresarial, la ciencia de los datos posterior a la implantación está surgiendo como un campo importante. Este curso abarca todos los conceptos esenciales relacionados con la supervisión de los sistemas de aprendizaje automático en producción, con el fin de mantener el valor empresarial, reducir el riesgo de fallos y aumentar la visibilidad.

<h2> Conceptos de supervisión del aprendizaje automático</h2>
Los modelos de aprendizaje automático influyen cada vez más en las decisiones del mundo real. Estos modelos necesitan supervisión para evitar fallos y garantizar que aportan valor empresarial a tu empresa. Este curso te introducirá en los conceptos fundamentales de la creación de un sistema sólido de supervisión de tus modelos en producción.
<br><br>
<h2>Descubre el flujo de trabajo de supervisión ideal</h2>
El curso comienza con el esquema de por dónde empezar a supervisar en producción y cómo estructurar los procesos en torno a ello. Cubriremos el flujo de trabajo básico mostrándote cómo detectar los problemas, identificar las causas raíz y resolverlos con ejemplos del mundo real.
<br><br>
<h2>Explora los retos de la supervisión de modelos en producción</h2>
Desplegar un modelo en producción es sólo el principio del ciclo de vida del modelo. Aunque funcione bien durante el desarrollo, puede fallar debido a los continuos cambios de los datos de producción. En este curso, explorarás las dificultades de controlar el rendimiento de un modelo, sobre todo cuando no existe una verdad de base.
<br><br>
<h2> Comprender en Detalle el Desplazamiento de Covariables y la Deriva de Conceptos</h2>
La última parte de este curso se centrará en dos tipos de fallo silencioso del modelo. Conocerás en detalle los distintos tipos de desplazamientos de covariables y de deriva conceptual, su influencia en el rendimiento del modelo y cómo detectarlos y evitarlos.

MLOps Concepts

Supervised Learning with scikit-learn

Aprende sobre los desafíos de monitorear modelos de aprendizaje automático en producción y cómo abordarlos.

Supervisión de conceptos de aprendizaje automático

Ingeniero de Aprendizaje Automático

Machine learning en la producción en Python

Co-founder and CEO of NannyML

How to detect covariate shift

Multivariate drift detection

Univariate drift detection

Continuous methods - Jensen-Shannon

Continuous methods - Wasserstein

Continuous methods - Kolmogorov-Smirnov

Continuous methods - Hellinger

Categorical methods - Chi-squared

Categorical methods - L-infinity

Categorical methods - Jensen-Shannon and Hellinger

Let's practice!

Detección de Desplazamiento de Covariables y Deriva de Conceptos - Cómo detectar el desplazamiento de covariables