Hiperparametrii algoritmului KNN

Pentru a consolida conceptele din exercițiul anterior, este bine să le aplici și pe un algoritm nou. Algoritmul k-nearest-neighbors nu mai este la fel de popular ca altădată, însă poate fi în continuare o alegere excelentă pentru date organizate în grupuri cu comportament similar. Ar putea fi acesta cazul utilizatorilor noștri de carduri de credit?

În acest exercițiu vei testa mai multe valori diferite pentru unul dintre hiperparametrii de bază ai algoritmului knn și vei compara performanțele obținute.

Vei avea la dispoziție:

DataFrame-urile X_train, X_test, y_train, y_test

Acest exercițiu face parte din cursul

Ajustarea hiperparametrilor în Python

Instrucțiuni pentru exercițiu

Construiește un estimator knn pentru următoarele valori ale parametrului n_neighbors: [5, 10, 20].
Antrenează fiecare model pe datele de antrenament și generează predicții.
Calculează scorul de acuratețe pentru fiecare model și afișează-l.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Build a knn estimator for each value of n_neighbours
knn_5 = KNeighborsClassifier(n_neighbors=____)
knn_10 = KNeighborsClassifier(n_neighbors=____)
knn_20 = KNeighborsClassifier(n_neighbors=____)

# Fit each to the training data & produce predictions
knn_5_predictions = knn_5.fit(_____, _____).predict(_____)
knn_10_predictions = knn_10.fit(_____, _____).predict(_____)
knn_20_predictions = knn_20.fit(_____, _____).predict(_____)

# Get an accuracy score for each of the models
knn_5_accuracy = accuracy_score(y_test, _____)
knn_10_accuracy = accuracy_score(y_test, _____)
knn_20_accuracy = accuracy_score(y_test, _____)
print("The accuracy of 5, 10, 20 neighbours was {}, {}, {}".format(_____, _____, _____))

Editează și rulează codul

Acest exercițiu face parte din cursul

Ajustarea hiperparametrilor în Python

SkillTag.level.intermediateSkillTag.label

4.9+

Începe cursul gratuit

În acest capitol introductiv vei învăța diferența dintre hiperparametri și parametri. Vei exersa extragerea și analiza parametrilor, setarea valorilor hiperparametrilor pentru câțiva algoritmi populari de învățare automată. Pe parcurs, vei descoperi sfaturi și tehnici utile pentru alegerea hiperparametrilor de ajustat și a valorilor de setat, și vei construi curbe de învățare pentru a-ți analiza alegerile.

Exercise 1: Introducere și „Parametri'Exercise 2: Parametri în Regresia Logistică Exercise 3: Extragerea unui parametru din regresia logistică Exercise 4: Extragerea unui parametru din Random Forest Exercise 5: Introducere în hiperparametri Exercise 6: Hiperparametri în Random Forests Exercise 7: Explorarea hiperparametrilor Random Forest Exercise 8: Hiperparametrii algoritmului KNN

Exercițiul curent

Exercise 9: Setarea și analiza valorilor hiperparametrilor Exercise 10: Automatizarea alegerii hiperparametrilor Exercise 11: Construirea curbelor de învățare

Acest capitol îți prezintă o metodologie populară de ajustare automată a hiperparametrilor, numită Grid Search. Vei afla ce este, cum funcționează și vei exersa aplicarea unui Grid Search folosind Scikit-Learn. Vei învăța apoi să analizezi rezultatele unui Grid Search și vei dobândi experiență practică în acest sens.

Exercise 1: Introducere în Grid Search Exercise 2: Construiește funcții pentru Grid Search Exercise 3: Ajustează iterativ mai mulți hiperparametri Exercise 4: Câte modele?Exercise 5: Grid Search cu Scikit Learn Exercise 6: Intrările GridSearchCV Exercise 7: GridSearchCV cu Scikit Learn Exercise 8: Înțelegerea rezultatelor unui grid search Exercise 9: Folosirea celor mai bune rezultate Exercise 10: Explorarea rezultatelor grid search Exercise 11: Analiza celor mai bune rezultate Exercise 12: Folosirea celor mai bune rezultate

În acest capitol vei face cunoștință cu o altă metodologie populară de ajustare automată a hiperparametrilor, numită Random Search. Vei afla ce este, cum funcționează și, mai important, în ce diferă de Grid Search. Vei descoperi avantajele și dezavantajele acestei metode și când este mai potrivit să o alegi față de Grid Search. Vei exersa aplicarea unui Random Search cu Scikit-Learn, precum și vizualizarea și interpretarea rezultatelor.

Exercise 1: Introducere în Random Search Exercise 2: Eșantionare aleatorie a hiperparametrilor Exercise 3: Căutare aleatorie cu Random Forest Exercise 4: Vizualizarea unei căutări aleatoare Exercise 5: Căutarea aleatoare în Scikit-Learn Exercise 6: Parametrii de intrare ai RandomSearchCV Exercise 7: Obiectul RandomizedSearchCV Exercise 8: RandomSearchCV în Scikit Learn Exercise 9: Comparație între Grid Search și Random Search Exercise 10: Comparație între Random Search și Grid Search Exercise 11: Grid Search și Random Search față în față

În acest capitol final vei face cunoștință cu metodologii mai avansate de ajustare a hiperparametrilor, cunoscute sub numele de „căutare informată". Acestea includ metodologia Coarse to Fine, precum și algoritmii Bayesieni și Genetici de ajustare a hiperparametrilor. Vei afla cum diferă căutarea informată de cea neinformată și vei dobândi abilități practice cu fiecare dintre metodologiile menționate, comparându-le pe parcurs.

Exercise 1: Căutare informată: de la grosier la fin Exercise 2: Vizualizarea căutării de la Grosier la Fin Exercise 3: Iterații de la General la Specific Exercise 4: Căutare informată: statistică bayesiană Exercise 5: Regula lui Bayes în Python Exercise 6: Reglarea hiperparametrilor Bayesian cu Hyperopt Exercise 7: Căutare informată: algoritmi genetici Exercise 8: Reglarea Hiperparametrilor cu Algoritmi Genetici folosind TPOT Exercise 9: Analizarea stabilității TPOT Exercise 10: Felicitări!