Deriva en el conjunto de datos de reservas de hotel

En el capítulo anterior, calculaste el valor de negocio y el rendimiento ROC AUC para un modelo que predice cancelaciones de reservas. Observaste algunas alertas en los gráficos resultantes, por lo que necesitas investigar la presencia de deriva en los datos de análisis.

En este ejercicio, inicializarás el método de detección de deriva multivariante y compararás sus resultados con los resultados de rendimiento calculados en el capítulo anterior.

StandardDeviationThreshold ya está importado junto con el valor de negocio, y los resultados de ROC AUC almacenados en la variable perf_results, y feature_column_names ya está definido.

Este ejercicio forma parte del curso

Monitorización de Machine Learning en Python

Instrucciones del ejercicio

Inicializa el método StandardDeviationThreshold y establece std_lower_multiplier en 2 y el parámetro std_upper_multiplier en 1.
Añade los siguientes nombres de variables: country, lead_time, parking_spaces y hotel. Conserva ese orden.
Pasa los umbrales definidos anteriormente y los nombres de variables al DataReconstructionDriftCalculator.
Muestra el gráfico comparativo con los resultados de detección de deriva multivariante (mv_results) y los resultados de rendimiento (perf_results).

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Create standard deviation thresholds
stdt = StandardDeviationThreshold(____=____, ____=____)

# Define feature columns
feature_column_names = [____, ____, ____, ____]

# Intialize, fit, and show results of multivariate drift calculator
mv_calc = nannyml.DataReconstructionDriftCalculator(
    column_names=____,
	threshold = ____,
    timestamp_column_name='timestamp',
    chunk_period='m')
mv_calc.fit(reference)
mv_results = mv_calc.calculate(analysis)
mv_results.filter(period='analysis').____(____).plot().show()

Editar y ejecutar código

Este ejercicio forma parte del curso

Monitorización de Machine Learning en Python

AvanzadoNivel de habilidad

4.8+

Comienza el curso gratis

En este capítulo, conocerás la biblioteca NannyML y sus funciones fundamentales. Primero, aprenderás a preparar datos en bruto para crear conjuntos de referencia y de análisis listos para la monitorización en producción. Como ejemplo práctico, investigarás la predicción del importe de la propina en trayectos de taxi en Nueva York. Al final del capítulo, también verás cómo estimar el rendimiento del modelo de predicción de propinas con NannyML.

Exercise 1: ¿Qué es NannyML?Exercise 2: Características clave de NannyML Exercise 3: Carga el conjunto de datos Exercise 4: Preparación de datos para NannyML Exercise 5: ¿Periodo de referencia o de análisis?Exercise 6: Cargar y dividir los datos Exercise 7: Creación de los conjuntos de referencia y de análisis Exercise 8: Estimación del rendimiento Exercise 9: Especifica el algoritmo y el tipo de problema Exercise 10: Interpretar resultados Exercise 11: Flujo de trabajo de CBPE y DLE Exercise 12: Estimación del rendimiento para la predicción de propinas

En este capítulo, te presentaremos los calculadores de rendimiento realizado cuando la verdad terreno está disponible. Aprenderás métodos más avanzados para trabajar con los resultados, como filtrarlos, representarlos, convertirlos en data frames, fragmentarlos en chunks y definir umbrales personalizados. Por último, aplicarás este conocimiento para calcular el valor de negocio de un modelo entrenado con el conjunto de datos de reservas de hotel.

Exercise 1: Cuando hay etiquetas disponibles Exercise 2: Cuando la estimación del rendimiento falla Exercise 3: Comparar rendimiento estimado y realizado Exercise 4: Trabajar con resultados calculados y estimados Exercise 5: Diferentes métodos de segmentación (chunking)Exercise 6: Modificar los umbrales Exercise 7: Interactuar con resultados Exercise 8: Cálculo y estimación del valor de negocio Exercise 9: Cálculo del valor de negocio Exercise 10: Caída en el valor monetario Exercise 11: Cálculo del valor de negocio para el conjunto de datos de reservas de hotel

Tras detectar la degradación del rendimiento en el modelo de reservas de hotel, ahora aprenderás a identificar el problema subyacente que la provoca. En este capítulo, verás métodos de detección de deriva multivariante y univariante. También aprenderás a identificar problemas de calidad de datos y a abordar las causas de fondo que detectes.

Exercise 1: Detección de deriva multivariante Exercise 2: Identificar derivas relevantes Exercise 3: Deriva en el conjunto de datos de reservas de hotel

Ejercicio actual

Exercise 4: Detección de deriva univariante Exercise 5: Detección de deriva univariante para el conjunto de datos de reservas de hotel Exercise 6: Clasificar los resultados univariantes Exercise 7: Visualización de variables con drift Exercise 8: Comprobaciones de calidad de datos y estadísticas Exercise 9: Comprobaciones de calidad de datos Exercise 10: Estadísticos descriptivos Exercise 11: Resolución de problemas Exercise 12: ¿Cuál es la solución?Exercise 13: ¿Deberías no hacer nada o sí?Exercise 14: Implementación de un flujo de trabajo de monitorización Exercise 15: ¡Enhorabuena!