Antes de poder validar modelos, necesitamos entender cómo crearlos y trabajar con ellos. Este capítulo ofrece una introducción a la ejecución de modelos de regresión y clasificación en scikit-learn. Usaremos estos fundamentos de construcción de modelos a lo largo del resto de capítulos.

Introducción a la validación de modelos

Pasos de modelado

Datos vistos vs. no vistos

Modelos de regresión

Configura parámetros y ajusta un modelo

Importancia de las variables

Modelos de clasificación

Predicciones de clasificación

Reutilizar parámetros del modelo

Clasificador de random forest

Modelado básico en scikit-learn

Este capítulo se centra en los conceptos básicos de la validación de modelos. Desde dividir los datos en conjuntos de entrenamiento, validación y prueba, hasta comprender el equilibrio sesgo-varianza, sentamos las bases para las técnicas de validación K-Fold y Leave-One-Out que practicarás en el capítulo tres.

Crear conjuntos de datos de entrenamiento, prueba y validación

Crea un único conjunto holdout

Crea dos conjuntos de validación (holdout)

Por qué usar conjuntos holdout

Métricas de precisión: modelos de regresión

Error absoluto medio

Error cuadrático medio

Rendimiento por subconjuntos de datos

Métricas de clasificación

Matrices de confusión

Otra vez las matrices de confusión

Precisión vs. exhaustividad

El compromiso entre sesgo y varianza

Error por underfitting/overfitting

¿Estoy subajustando?

Fundamentos de validación

Los conjuntos de retención son un gran punto de partida para la validación de modelos. Sin embargo, usar un único conjunto de entrenamiento y prueba a menudo no basta. La validación cruzada se considera el estándar de oro para validar el rendimiento de los modelos y casi siempre se usa al ajustar hiperparámetros. Este capítulo se centra en realizar validación cruzada para validar el rendimiento del modelo.

Los problemas de los conjuntos holdout

Dos muestras

Problemas potenciales

Validación cruzada

`KFold()` de scikit-learn

Usar índices de KFold

cross_val_score() de sklearn

Métodos de scikit-learn

Implementa cross_val_score()

Validación cruzada dejando uno fuera (LOOCV)

Cuándo usar LOOCV

Leave-one-out-cross-validation

Los tres primeros capítulos se centraron en técnicas de validación de modelos. En el capítulo 4 aplicamos estas técnicas, en particular la validación cruzada, mientras aprendemos sobre el ajuste de hiperparámetros. Al fin y al cabo, la validación de modelos hace posible el ajuste y nos ayuda a seleccionar el mejor modelo general.

Introducción al ajuste de hiperparámetros

Creación de hiperparámetros

Ejecutar un modelo usando rangos

RandomizedSearchCV

Preparar RandomizedSearch

Implementar RandomizedSearchCV

Selecciona tu modelo final

Mejor accuracy de clasificación

Seleccionar el mejor modelo por precisión

¡Curso completado!

Seleccionar el mejor modelo con ajuste de hiperparámetros.

Candy dataset

Tic-Tac-Toe dataset

Los modelos de Machine Learning son más fáciles de implementar que nunca. Sin una validación adecuada, los resultados de pasar datos nuevos por un modelo pueden no ser tan precisos como esperas. La validación de modelos permite responder con confianza a la pregunta: ¿qué tan bueno es tu modelo? Responderemos a esta pregunta para modelos de clasificación usando el conjunto completo de finales de partidas de tres en raya, y para modelos de regresión usando el conjunto de datos de FiveThirtyEight sobre la clasificación definitiva de chucherías de Halloween. En este curso, veremos los fundamentos de la validación de modelos, revisaremos varias técnicas de validación y comenzaremos a desarrollar herramientas para crear modelos validados y de alto rendimiento.

Supervised Learning with scikit-learn

Aprende lo básico de la validación de modelos y crea modelos validados y de alto rendimiento.

Validación de modelos en Python

Aprende los conceptos básicos de la validación de modelos y las técnicas de validación, y empieza a crear modelos validados y de alto rendimiento.

Científico especializado en machine learning en Python

Data Scientist

Creating train, test, and validation datasets

Traditional train/test split

Dataset definitions and ratios

The X and y datasets

Creating holdout samples

Dataset for preliminary testing?

Holdout samples for parameter tuning

Train, validation, test continued

It's holdout time

Fundamentos de validación - Crear conjuntos de datos de entrenamiento, prueba y validación

Crear conjuntos de datos de entrenamiento, prueba y validación

Create Your Free Account