1. Learn
    2. /
  2. Courses
    3. /
  3. Tłumaczenie maszynowe z Keras
Connected

Exercise

Definiowanie warstw modelu z Teacher Forcing

Zdefiniujesz ulepszoną wersję modelu tłumaczenia maszynowego, który tworzyłeś wcześniej. Czy wiesz, że modele takie jak Google Translator korzystają z techniki Teacher Forcing podczas trenowania?

Jak już wiesz, poprzedni model wymaga niewielkich zmian, aby zastosować Teacher Forcing. W tym ćwiczeniu wprowadzisz niezbędne modyfikacje. Masz do dyspozycji parametry językowe: en_len i fr_len (długość uzupełnionych sekwencji angielskiej i francuskiej), en_vocab i fr_vocab (rozmiar słownictwa zbioru angielskiego i francuskiego) oraz hsize (rozmiar warstwy ukrytej warstw GRU). Pamiętaj, że dekoder przyjmuje sekwencję francuską krótszą o jeden element od fr_len. Przedrostka en używamy dla elementów enkodera, a de – dla elementów dekodera.

Instructions

100 XP
  • Zaimportuj submoduł layers z biblioteki tensorflow.keras.
  • Pobierz wyjście enkodera i wartości stanu, przypisując je odpowiednio do en_out i en_state.
  • Zdefiniuj warstwę Input dekodera przyjmującą sekwencję o długości fr_len-1 złożoną z zakodowanych metodą one-hot słów francuskich.
  • Zdefiniuj warstwę TimeDistributed Dense z aktywacją softmax i fr_vocab węzłami.