1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Machine Translation with Keras
Connected

Cvičení

Definování vrstev modelu s Teacher Forcing

V tomto cvičení definuješ vylepšenou verzi modelu strojového překladu, který jsi vytvořil/a dříve. Věděl/a jsi, že modely jako Google Translate používají právě techniku Teacher Forcing při trénování?

Jak už víš, předchozí model je potřeba mírně upravit, aby Teacher Forcing fungoval správně. Provedeš nezbytné změny. K dispozici máš jazykové parametry en_len a fr_len (délka doplněné anglické/francouzské věty), en_vocab a fr_vocab (velikost slovníku anglického/francouzského datasetu) a hsize (velikost skryté vrstvy GRU). Pamatuj, že dekodér přijímá francouzskou sekvenci o jeden prvek kratší než fr_len. Prefix en označuje vše, co se týká enkodéru, a prefix de dekodéru.

Pokyny

100 XP
  • Importuj submodul layers z tensorflow.keras.
  • Získej výstup enkodéru a hodnoty stavu a přiřaď je do proměnných en_out a en_state.
  • Definuj vstupní vrstvu Input dekodéru, která přijímá sekvenci délky fr_len-1 složenou z francouzských slov zakódovaných metodou onehot.
  • Definuj vrstvu TimeDistributed typu Dense se softmax aktivací a fr_vocab neurony.