1. Nauka
    2. /
  2. Kursy
    3. /
  3. Wprowadzenie do TensorFlow w Pythonie
Connected

ćwiczenie

Unikanie minimów lokalnych

Poprzednie zadanie pokazało, jak łatwo można utknąć w minimach lokalnych. Nawet przy prostym problemie optymalizacyjnym z jedną zmienną metoda gradientu prostego nie zawsze znajduje minimum globalne, jeśli po drodze napotyka minima lokalne. Jednym ze sposobów na uniknięcie tego problemu jest zastosowanie momentum, które pozwala optymalizatorowi przebić się przez minima lokalne. Ponownie skorzystamy z funkcji straty z poprzedniego zadania – jest ona już zdefiniowana i dostępna jako loss_function().

The graph is of a single variable function that contains multiple local minima and a global minimum.

Kilka optymalizatorów w bibliotece tensorflow obsługuje parametr momentum – należą do nich SGD i RMSprop. W tym ćwiczeniu skorzystasz z RMSprop. Zwróć uwagę, że tym razem x_1 i x_2 zostały zainicjalizowane tą samą wartością. Funkcja keras.optimizers.RMSprop() została już zaimportowana z tensorflow.

Instrukcje

100 XP
  • Ustaw operację opt_1 tak, aby używała współczynnika uczenia równego 0,01 i momentum równego 0,99.
  • Ustaw opt_2 tak, aby korzystało z optymalizatora średniej kwadratowej (RMSprop) ze współczynnikiem uczenia równym 0,01 i momentum równym 0,00.
  • Zdefiniuj operację minimalizacji dla opt_2.
  • Wyświetl x_1 i x_2 jako tablice numpy.