Explorar los resultados del grid search

Ahora vas a explorar la propiedad cv_results_ del objeto GridSearchCV definido en el vídeo. Es un diccionario que podemos leer en un DataFrame de pandas y que contiene mucha información útil sobre el grid search que acabamos de realizar.

Recordatorio de los distintos tipos de columnas en esta propiedad:

Columnas time_
Columnas param_ (una por cada hiperparámetro) y la columna params singular (con todos los ajustes de hiperparámetros)
Una columna train_score por cada pliegue de validación cruzada, incluyendo las columnas mean_train_score y std_train_score
Una columna test_score por cada pliegue de validación cruzada, incluyendo las columnas mean_test_score y std_test_score
Una columna rank_test_score con un número del 1 al n (número de iteraciones) que clasifica las filas según su mean_test_score

Este ejercicio forma parte del curso

Ajuste de hiperparámetros en Python

Instrucciones del ejercicio

Lee la propiedad cv_results_ del objeto GridSearchCV grid_rf_class en un DataFrame y muestra todo para inspeccionarlo.
Extrae y muestra la columna singular que contiene un diccionario con todos los hiperparámetros usados en cada iteración del grid search.
Extrae y muestra la fila que tuvo la mejor puntuación media en test indexando con la columna rank_test_score.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Read the cv_results property into a dataframe & print it out
cv_results_df = pd.DataFrame(grid_rf_class.____)
print(____)

# Extract and print the column with a dictionary of hyperparameters used
column = cv_results_df.loc[:, [____]]
print(____)

# Extract and print the row that had the best mean test score
best_row = cv_results_df[cv_results_df[____] == ____ ]
print(best_row)

Editar y ejecutar código

Este ejercicio forma parte del curso

Ajuste de hiperparámetros en Python

IntermedioNivel de habilidad

4.9+

Comienza el curso gratis

En este capítulo introductorio aprenderás la diferencia entre hiperparámetros y parámetros. Practicarás extrayendo y analizando parámetros, y configurando valores de hiperparámetros para varios algoritmos populares de Machine Learning. Por el camino, aprenderás consejos y trucos de buenas prácticas para decidir qué hiperparámetros ajustar, qué valores probar y cómo construir curvas de aprendizaje para analizar tus elecciones.

Exercise 1: Introducción y «parámetros»Exercise 2: Parámetros en la regresión logística Exercise 3: Extraer un parámetro de Logistic Regression Exercise 4: Extraer un parámetro de Random Forest Exercise 5: Introducción a los hiperparámetros Exercise 6: Hiperparámetros en Random Forests Exercise 7: Explorando los hiperparámetros de Random Forest Exercise 8: Hiperparámetros de KNN Exercise 9: Definir y analizar valores de hiperparámetros Exercise 10: Automatizar la elección de hiperparámetros Exercise 11: Construir curvas de aprendizaje

Este capítulo te presenta una metodología popular de ajuste automático de hiperparámetros llamada Grid Search. Verás qué es, cómo funciona y practicarás cómo realizar un Grid Search con Scikit Learn. Después aprenderás a analizar el resultado de un Grid Search y ganarás experiencia práctica haciéndolo.

Exercise 1: Introducción a Grid Search Exercise 2: Crea funciones de Grid Search Exercise 3: Ajusta iterativamente varios hiperparámetros Exercise 4: ¿Cuántos modelos?Exercise 5: Grid Search con Scikit Learn Exercise 6: Entradas de GridSearchCV Exercise 7: GridSearchCV con Scikit Learn Exercise 8: Entender la salida de una grid search Exercise 9: Usar los mejores resultados Exercise 10: Explorar los resultados del grid search

Ejercicio actual

Exercise 11: Analizar los mejores resultados Exercise 12: Usar los mejores resultados

En este capítulo conocerás otra metodología popular de ajuste automático de hiperparámetros llamada Random Search. Verás qué es, cómo funciona y, sobre todo, en qué se diferencia de grid search. Conocerás algunas ventajas e inconvenientes de este método y cuándo elegirlo frente a Grid Search. Practicarás cómo realizar un Random Search con Scikit Learn, además de visualizar e interpretar los resultados.

Exercise 1: Introducción a Random Search Exercise 2: Muestrea hiperparámetros aleatoriamente Exercise 3: Búsqueda aleatoria con Random Forest Exercise 4: Visualizar un Random Search Exercise 5: Random Search en Scikit Learn Exercise 6: Parámetros de RandomSearchCV Exercise 7: El objeto RandomizedSearchCV Exercise 8: RandomSearchCV en Scikit Learn Exercise 9: Comparando Grid Search y Random Search Exercise 10: Comparando Random Search y Grid Search Exercise 11: Búsqueda en cuadrícula y aleatoria, lado a lado

En este capítulo final tendrás una muestra de metodologías más avanzadas de ajuste de hiperparámetros conocidas como "informed search". Incluye una metodología llamada de grueso a fino (Coarse To Fine), así como algoritmos de ajuste bayesianos y genéticos. Verás en qué se diferencia informed search de uninformed search y adquirirás habilidades prácticas con cada una de las metodologías mencionadas, comparándolas sobre la marcha.

Exercise 1: Búsqueda informada: de lo general a lo específico Exercise 2: Visualizar Coarse to Fine Exercise 3: Iteraciones de Coarse to Fine Exercise 4: Búsqueda informada: estadística bayesiana Exercise 5: Regla de Bayes en Python Exercise 6: Ajuste bayesiano de hiperparámetros con Hyperopt Exercise 7: Búsqueda informada: algoritmos genéticos Exercise 8: Ajuste genético de hiperparámetros con TPOT Exercise 9: Analizando la estabilidad de TPOT Exercise 10: ¡Enhorabuena!