Hiperparametry KNN

Dobrą praktyką jest wypróbowanie nowo zdobytej wiedzy na nowym algorytmie. Algorytm k-najbliższych sąsiadów nie jest już tak popularny jak kiedyś, ale wciąż może być świetnym wyborem dla danych, w których grupy obserwacji zachowują się podobnie. Czy tak może być w przypadku naszych użytkowników kart kredytowych?

W tym ćwiczeniu przetestujesz kilka różnych wartości jednego z kluczowych hiperparametrów algorytmu KNN i porównasz wyniki.

Do dyspozycji masz następujące ramki danych:

X_train, X_test, y_train, y_test

To ćwiczenie jest częścią kursu

Strojenie hiperparametrów w Pythonie

Instrukcje do ćwiczenia

Zbuduj estymator KNN dla następujących wartości n_neighbors: [5, 10, 20].
Dopasuj każdy model do danych treningowych i wygeneruj predykcje.
Oblicz dokładność każdego modelu i wyświetl wyniki.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Build a knn estimator for each value of n_neighbours
knn_5 = KNeighborsClassifier(n_neighbors=____)
knn_10 = KNeighborsClassifier(n_neighbors=____)
knn_20 = KNeighborsClassifier(n_neighbors=____)

# Fit each to the training data & produce predictions
knn_5_predictions = knn_5.fit(_____, _____).predict(_____)
knn_10_predictions = knn_10.fit(_____, _____).predict(_____)
knn_20_predictions = knn_20.fit(_____, _____).predict(_____)

# Get an accuracy score for each of the models
knn_5_accuracy = accuracy_score(y_test, _____)
knn_10_accuracy = accuracy_score(y_test, _____)
knn_20_accuracy = accuracy_score(y_test, _____)
print("The accuracy of 5, 10, 20 neighbours was {}, {}, {}".format(_____, _____, _____))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Strojenie hiperparametrów w Pythonie

SkillTag.level.intermediateSkillTag.label

4.9+

Rozpocznij kurs za darmo

W tym rozdziale wprowadzającym poznasz różnicę między hiperparametrami a parametrami. Przećwiczysz wyodrębnianie i analizowanie parametrów oraz ustawianie wartości hiperparametrów dla kilku popularnych algorytmów uczenia maszynowego. Przy okazji poznasz sprawdzone wskazówki dotyczące wyboru hiperparametrów do strojenia, doboru ich wartości, a także tworzenia krzywych uczenia do analizy swoich wyborów.

Exercise 1: Wprowadzenie i „Parametry"Exercise 2: Parametry w regresji logistycznej Exercise 3: Wyodrębnianie parametru regresji logistycznej Exercise 4: Wyodrębnianie parametru modelu Random Forest Exercise 5: Wprowadzenie do hiperparametrów Exercise 6: Hiperparametry w lasach losowych Exercise 7: Odkrywanie hiperparametrów lasu losowego Exercise 8: Hiperparametry KNN

Bieżące ćwiczenie

Exercise 9: Ustawianie i analiza wartości hiperparametrów Exercise 10: Automatyzacja wyboru hiperparametrów Exercise 11: Budowanie krzywych uczenia

Ten rozdział zapozna cię z popularną metodą automatycznego strojenia hiperparametrów – przeszukiwaniem siatki. Dowiesz się, czym jest ta metoda i jak działa, a następnie przećwiczysz jej zastosowanie w Scikit-Learn. Nauczysz się też analizować wyniki przeszukiwania siatki i zdobędziesz praktyczne doświadczenie w tym zakresie.

Exercise 1: Wprowadzenie do przeszukiwania siatki Exercise 2: Tworzenie funkcji do przeszukiwania siatki Exercise 3: Iteracyjne dostrajanie wielu hiperparametrów Exercise 4: Ile modeli?Exercise 5: Grid Search z Scikit-Learn Exercise 6: Dane wejściowe GridSearchCV Exercise 7: GridSearchCV z biblioteką Scikit Learn Exercise 8: Interpretowanie wyników przeszukiwania siatki Exercise 9: Korzystanie z najlepszych wyników Exercise 10: Eksploracja wyników przeszukiwania siatki Exercise 11: Analiza najlepszych wyników Exercise 12: Wykorzystanie najlepszych wyników

W tym rozdziale poznasz kolejną popularną metodę automatycznego strojenia hiperparametrów – przeszukiwanie losowe. Dowiesz się, czym jest, jak działa i czym różni się od przeszukiwania siatki. Poznasz zalety i ograniczenia tej metody oraz nauczysz się, kiedy warto ją stosować zamiast przeszukiwania siatki. Przećwiczysz przeszukiwanie losowe w Scikit-Learn, a także wizualizację i interpretację jego wyników.

Exercise 1: Wprowadzenie do przeszukiwania losowego Exercise 2: Losowe próbkowanie hiperparametrów Exercise 3: Losowe przeszukiwanie z Random Forest Exercise 4: Wizualizacja przeszukiwania losowego Exercise 5: Random Search w Scikit Learn Exercise 6: Parametry wejściowe RandomSearchCV Exercise 7: Obiekt RandomizedSearchCV Exercise 8: RandomSearchCV w Scikit Learn Exercise 9: Porównanie przeszukiwania siatki i przeszukiwania losowego Exercise 10: Porównanie Random Search i Grid Search Exercise 11: Przeszukiwanie siatką i losowe – porównanie

W tym ostatnim rozdziale poznasz bardziej zaawansowane metody strojenia hiperparametrów, określane jako „przeszukiwanie ukierunkowane". Obejmują one podejście od ogółu do szczegółu (Coarse to Fine) oraz algorytmy bayesowskie i genetyczne. Dowiesz się, czym przeszukiwanie ukierunkowane różni się od nieukierunkowanego, i zdobędziesz praktyczne umiejętności korzystania z każdej z tych metod – porównując je ze sobą w trakcie nauki.

Exercise 1: Świadome przeszukiwanie: od ogółu do szczegółu Exercise 2: Wizualizacja podejścia Coarse to Fine Exercise 3: Iteracje od ogółu do szczegółu Exercise 4: Wyszukiwanie z użyciem informacji: statystyka bayesowska Exercise 5: Reguła Bayesa w Pythonie Exercise 6: Bayesowskie dostrajanie hiperparametrów z Hyperopt Exercise 7: Świadome przeszukiwanie: algorytmy genetyczne Exercise 8: Strojenie hiperparametrów algorytmem genetycznym z TPOT Exercise 9: Analiza stabilności TPOT Exercise 10: Gratulacje!