1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Introduction to Deep Learning with PyTorch
Connected

cvičení

Experimentování s learning rate

V tomto cvičení je tvým cílem najít optimální learning rate tak, aby optimalizátor dokázal najít minimum nekonvexní funkce \(x^{4} + x^{3} - 5x^{2}\) v deseti krocích.

Vyzkouší tři různé hodnoty learning rate. Pro tento problém testuj hodnoty v rozsahu od 0,001 do 0,1.

Máš k dispozici funkci optimize_and_plot(), která přijímá learning rate jako první argument. Tato funkce spustí 10 kroků SGD optimalizátoru a zobrazí výsledky.

Instrukce 1/3

undefined XP
  • 1
    • Vyzkoušej malou hodnotu learning rate tak, aby optimalizátor nedokázal překonat první minimum napravo.
  • 2
    • Vyzkoušej velkou hodnotu learning rate tak, aby optimalizátor přeskočil globální minimum v bodě -2.
  • 3
    • Na základě předchozích výsledků vyzkoušej vhodnější hodnotu learning rate.