Hiperparámetros de KNN

Para aplicar los conceptos del ejercicio anterior, es buena práctica probar lo aprendido con un nuevo algoritmo. El algoritmo de k vecinos más cercanos (KNN) ya no es tan popular como antes, pero puede ser una excelente opción cuando los datos contienen grupos que se comportan de forma similar. ¿Podría ser este el caso de nuestros usuarios de tarjetas de crédito?

En este ejercicio vas a probar varios valores para uno de los hiperparámetros clave del algoritmo KNN y comparar su rendimiento.

Tendrás disponibles:

DataFrames X_train, X_test, y_train, y_test

Este ejercicio forma parte del curso

Ajuste de hiperparámetros en Python

Instrucciones del ejercicio

Construye un estimador KNN para los siguientes valores de n_neighbors [5,10,20].
Ajusta cada uno con los datos de entrenamiento y genera predicciones.
Obtén la accuracy de cada modelo con accuracy_score e imprímelas.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Build a knn estimator for each value of n_neighbours
knn_5 = KNeighborsClassifier(n_neighbors=____)
knn_10 = KNeighborsClassifier(n_neighbors=____)
knn_20 = KNeighborsClassifier(n_neighbors=____)

# Fit each to the training data & produce predictions
knn_5_predictions = knn_5.fit(_____, _____).predict(_____)
knn_10_predictions = knn_10.fit(_____, _____).predict(_____)
knn_20_predictions = knn_20.fit(_____, _____).predict(_____)

# Get an accuracy score for each of the models
knn_5_accuracy = accuracy_score(y_test, _____)
knn_10_accuracy = accuracy_score(y_test, _____)
knn_20_accuracy = accuracy_score(y_test, _____)
print("The accuracy of 5, 10, 20 neighbours was {}, {}, {}".format(_____, _____, _____))

Editar y ejecutar código

Este ejercicio forma parte del curso

Ajuste de hiperparámetros en Python

IntermedioNivel de habilidad

4.9+

Comienza el curso gratis

En este capítulo introductorio aprenderás la diferencia entre hiperparámetros y parámetros. Practicarás extrayendo y analizando parámetros, y configurando valores de hiperparámetros para varios algoritmos populares de Machine Learning. Por el camino, aprenderás consejos y trucos de buenas prácticas para decidir qué hiperparámetros ajustar, qué valores probar y cómo construir curvas de aprendizaje para analizar tus elecciones.

Exercise 1: Introducción y «parámetros»Exercise 2: Parámetros en la regresión logística Exercise 3: Extraer un parámetro de Logistic Regression Exercise 4: Extraer un parámetro de Random Forest Exercise 5: Introducción a los hiperparámetros Exercise 6: Hiperparámetros en Random Forests Exercise 7: Explorando los hiperparámetros de Random Forest Exercise 8: Hiperparámetros de KNN

Ejercicio actual

Exercise 9: Definir y analizar valores de hiperparámetros Exercise 10: Automatizar la elección de hiperparámetros Exercise 11: Construir curvas de aprendizaje

Este capítulo te presenta una metodología popular de ajuste automático de hiperparámetros llamada Grid Search. Verás qué es, cómo funciona y practicarás cómo realizar un Grid Search con Scikit Learn. Después aprenderás a analizar el resultado de un Grid Search y ganarás experiencia práctica haciéndolo.

Exercise 1: Introducción a Grid Search Exercise 2: Crea funciones de Grid Search Exercise 3: Ajusta iterativamente varios hiperparámetros Exercise 4: ¿Cuántos modelos?Exercise 5: Grid Search con Scikit Learn Exercise 6: Entradas de GridSearchCV Exercise 7: GridSearchCV con Scikit Learn Exercise 8: Entender la salida de una grid search Exercise 9: Usar los mejores resultados Exercise 10: Explorar los resultados del grid search Exercise 11: Analizar los mejores resultados Exercise 12: Usar los mejores resultados

En este capítulo conocerás otra metodología popular de ajuste automático de hiperparámetros llamada Random Search. Verás qué es, cómo funciona y, sobre todo, en qué se diferencia de grid search. Conocerás algunas ventajas e inconvenientes de este método y cuándo elegirlo frente a Grid Search. Practicarás cómo realizar un Random Search con Scikit Learn, además de visualizar e interpretar los resultados.

Exercise 1: Introducción a Random Search Exercise 2: Muestrea hiperparámetros aleatoriamente Exercise 3: Búsqueda aleatoria con Random Forest Exercise 4: Visualizar un Random Search Exercise 5: Random Search en Scikit Learn Exercise 6: Parámetros de RandomSearchCV Exercise 7: El objeto RandomizedSearchCV Exercise 8: RandomSearchCV en Scikit Learn Exercise 9: Comparando Grid Search y Random Search Exercise 10: Comparando Random Search y Grid Search Exercise 11: Búsqueda en cuadrícula y aleatoria, lado a lado

En este capítulo final tendrás una muestra de metodologías más avanzadas de ajuste de hiperparámetros conocidas como "informed search". Incluye una metodología llamada de grueso a fino (Coarse To Fine), así como algoritmos de ajuste bayesianos y genéticos. Verás en qué se diferencia informed search de uninformed search y adquirirás habilidades prácticas con cada una de las metodologías mencionadas, comparándolas sobre la marcha.

Exercise 1: Búsqueda informada: de lo general a lo específico Exercise 2: Visualizar Coarse to Fine Exercise 3: Iteraciones de Coarse to Fine Exercise 4: Búsqueda informada: estadística bayesiana Exercise 5: Regla de Bayes en Python Exercise 6: Ajuste bayesiano de hiperparámetros con Hyperopt Exercise 7: Búsqueda informada: algoritmos genéticos Exercise 8: Ajuste genético de hiperparámetros con TPOT Exercise 9: Analizando la estabilidad de TPOT Exercise 10: ¡Enhorabuena!