1. Learn
    2. /
  2. Cursuri
    3. /
  3. Traducere automată cu Keras
Connected

exercițiu

Definirea straturilor modelului cu Teacher Forcing

Vei defini o versiune îmbunătățită a modelului de traducere automată pe care l-ai creat anterior. Știai că modele precum Google Machine Translator folosesc tehnica Teacher Forcing pentru antrenament?

Așa cum ai văzut deja, modelul anterior necesită câteva modificări pentru a adopta Teacher Forcing. În acest exercițiu, vei face ajustările necesare. Ai la dispoziție parametrii de limbă en_len și fr_len (lungimea propozițiilor în engleză/franceză după padding), en_vocab și fr_vocab (dimensiunea vocabularului pentru engleză/franceză) și hsize (dimensiunea stratului ascuns al straturilor GRU). Reține că decodorul va accepta o secvență în franceză cu un element mai puțin decât fr_len. Folosim prefixul en pentru elementele legate de encoder și de pentru cele legate de decoder.

Instrucțiuni

100 XP
  • Importă submodulul layers din tensorflow.keras.
  • Obține valorile de ieșire și starea encodorului și atribuie-le variabilelor en_out, respectiv en_state.
  • Definește un strat Input pentru decoder, care acceptă o secvență de lungime fr_len-1 formată din cuvinte franceze codificate one-hot.
  • Definește un strat Dense softmax de tip TimeDistributed cu fr_vocab noduri.