1. Nauka
    2. /
  2. Kursy
    3. /
  3. Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras
Connected

ćwiczenie

Transfer learning

Uczenie warstwy osadzeń (embedding layer) wiąże się z koniecznością nauczenia bardzo wielu parametrów.

W tym ćwiczeniu zobaczysz, że dzięki transfer learningowi można wykorzystać wagi wstępnie wytrenowanego modelu i nie aktualizować ich podczas treningu. Oznacza to, że wszystkie parametry warstwy osadzeń pozostają zamrożone, a model uczy się jedynie parametrów pozostałych warstw.

Funkcja load_glove jest już dostępna w środowisku i zwraca macierz GloVe jako wektor numpy.ndarray. Korzysta z metody omówionej na slajdach lekcji, aby pobrać wektory GloVe o 200 wymiarach osadzeń dla słownictwa użytego w tym ćwiczeniu.

Instrukcje

100 XP
  • Użyj predefiniowanej funkcji, aby wczytać wektory GloVe.
  • Zastosuj inicjalizator Constant na wstępnie wytrenowanych wektorach.
  • Dodaj warstwę wyjściową jako Dense z jedną jednostką.
  • Wyświetl podsumowanie i sprawdź liczbę trenowalnych parametrów.