Zacznij terazZacznij za darmo

Implementacja przeszukiwania losowego

Przeszukiwanie hiperparametrów to kosztowne obliczeniowo podejście do eksperymentowania z różnymi wartościami hiperparametrów. Może jednak prowadzić do poprawy wydajności modelu. W tym ćwiczeniu zaimplementujesz algorytm przeszukiwania losowego.

Losowo wylosuj 10 wartości współczynnika uczenia i momentu z rozkładu jednostajnego. Użyj do tego funkcji np.random.uniform().

Pakiet numpy został już zaimportowany jako np, a funkcja plot_hyperparameter_search() została przygotowana do wizualizacji wyników.

To ćwiczenie jest częścią kursu

Wprowadzenie do uczenia głębokiego z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

  • Wylosuj losowo wykładnik współczynnika uczenia z zakresu od 2 do 4, tak aby współczynnik uczenia (lr) mieścił się w przedziale od \(10^{-2}\) do \(10^{-4}\).
  • Wylosuj losowo wartość momentu z zakresu od 0,85 do 0,99.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)
Edytuj i uruchom kod