Cálculos con la matriz de confusión

Tu clasificador sobre los datos de crédito obtuvo las siguientes estadísticas: 163 verdaderos positivos, 15 falsos positivos, 48 falsos negativos y 24 verdaderos negativos. Estos números están precargados en la consola como tp, fp, fn y tn, respectivamente. Las siguientes afirmaciones usan dos métricas: el accuracy, que es la proporción de ejemplos clasificados correctamente, y el recall, que es la proporción de ejemplos realmente positivos que se clasificaron como positivos. ¿Cuál de las afirmaciones es verdadera?

Este ejercicio forma parte del curso

Diseño de flujos de trabajo de Machine Learning en Python

Ver curso

Ejercicio interactivo práctico

Pon en práctica la teoría con uno de nuestros ejercicios interactivos

Empezar ejercicio

Este ejercicio forma parte del curso

Diseño de flujos de trabajo de Machine Learning en Python

AvanzadoNivel de habilidad

4.8+

74 reviews

Comienza el curso gratis

En este capítulo, recordarás los fundamentos de un flujo de trabajo de aprendizaje supervisado, incluyendo ajuste, optimización y selección de modelos, ingeniería y selección de características, y técnicas de división de datos. Entenderás cómo estos pasos del flujo de trabajo dependen entre sí y reconocerás cómo todos pueden contribuir a, o combatir, el sobreajuste: el peor enemigo de la persona que hace ciencia de datos. Al final del capítulo, ya te desenvolverás con soltura en aprendizaje supervisado y estarás listo para sumergirte en material más avanzado en los capítulos siguientes.

Exercise 1: Pipelines de aprendizaje supervisado Exercise 2: Ingeniería de características Exercise 3: Tu primer pipeline Exercise 4: Complejidad del modelo y sobreajuste Exercise 5: Búsqueda en cuadrícula con CV para la complejidad del modelo Exercise 6: Número de árboles y estimadores Exercise 7: Ingeniería de características y sobreajuste Exercise 8: Codificaciones categóricas Exercise 9: Transformaciones de características Exercise 10: Juntándolo todo

En el capítulo anterior perfeccionaste tu conocimiento de los flujos de trabajo estándar de aprendizaje supervisado. En este capítulo, examinarás de forma crítica las maneras en que se incorpora el conocimiento experto en el aprendizaje supervisado. Esto se hace mediante la identificación de la unidad de análisis adecuada, que puede requerir ingeniería de características a partir de múltiples fuentes de datos; mediante el proceso, a veces imperfecto, de etiquetar ejemplos; y mediante la especificación de una función de pérdida que refleje el verdadero valor de negocio de los errores que comete tu modelo de machine learning.

Exercise 1: Fusión de datos Exercise 2: ¿Es malo el origen o el destino?Exercise 3: Ingeniería de características en datos agrupados Exercise 4: Etiquetas imperfectas Exercise 5: Convertir una heurística en un clasificador Exercise 6: Combinar heurísticas Exercise 7: Cómo lidiar con el ruido en las etiquetas Exercise 8: Funciones de pérdida (Parte I)Exercise 9: Recordatorio de métricas de rendimiento Exercise 10: Análisis de costes en un caso real Exercise 11: Cálculos con la matriz de confusión

Ejercicio actual

Exercise 12: Funciones de pérdida, Parte II Exercise 13: Umbral por defecto Exercise 14: Optimizar el umbral Exercise 15: Uniéndolo todo

En el capítulo anterior, empleaste diferentes formas de incorporar el feedback de personas expertas en tu flujo de trabajo y de evaluarlo de manera alineada con el valor de negocio. Ahora es el momento de practicar las habilidades necesarias para llevar tu modelo a producción y garantizar que siga rindiendo bien después, mejorándolo iterativamente. También aprenderás a diagnosticar el desplazamiento del conjunto de datos y a mitigar el efecto que un entorno cambiante puede tener en la precisión de tu modelo.

Exercise 1: De flujos de trabajo a canalizaciones Exercise 2: ¡Tu primer pipeline, otra vez!Exercise 3: Evaluadores personalizados en pipelines Exercise 4: Despliegue de modelos Exercise 5: Pickles Exercise 6: Transformadores de funciones personalizadas en pipelines Exercise 7: Iterar sin sobreajustar Exercise 8: Desafía al campeón Exercise 9: Estadísticas de validación cruzada Exercise 10: Cambio de distribución del conjunto de datos Exercise 11: Ajustar el tamaño de la ventana Exercise 12: Juntándolo todo

En los capítulos anteriores asentaste una base sólida en aprendizaje supervisado, con conocimientos sobre poner modelos en producción, pero siempre asumiste que habría un conjunto de datos etiquetado disponible para tu análisis. En este capítulo, afrontas el reto de modelar datos sin etiquetas o con muy pocas. Esto te lleva a explorar la detección de anomalías, un tipo de modelado no supervisado, así como el aprendizaje basado en distancias, donde las creencias sobre qué constituye la similitud entre dos ejemplos pueden usarse en lugar de etiquetas para ayudarte a lograr niveles de precisión comparables a un flujo de trabajo supervisado. Al completar este capítulo, destacarás claramente entre las personas que hacen ciencia de datos al saber con confianza qué herramientas usar para adaptar tu flujo de trabajo y superar desafíos habituales del mundo real.

Exercise 1: Detección de anomalías Exercise 2: Un outlier sencillo Exercise 3: Contaminación en LoF Exercise 4: Detección de novedades Exercise 5: Una novedad sencilla Exercise 6: Tres detectores de novedad Exercise 7: Revisiting contamination Exercise 8: Aprendizaje basado en distancias Exercise 9: Encuentra el vecino Exercise 10: No todas las métricas coinciden Exercise 11: Datos no estructurados Exercise 12: Levenshtein restringida Exercise 13: Juntándolo todo Exercise 14: Comentarios finales