Deel 1: Het volledige model definiëren
Hier implementeer je de laatste paar lagen van het encoder-decoder-model. Je gebruikt Dense- en TimeDistributed-lagen om de uiteindelijke voorspellingen te krijgen (dus: voorspelde Franse woordkansen) van het encoder-decoder-model.
Je krijgt de encoder en decoder (zonder het bovenste deel) die je tot nu toe hebt geïmplementeerd. De output de_out van de decoder GRU-laag is gegeven. We gebruiken het voorvoegsel en (bijv. en_gru) voor alles wat met de encoder te maken heeft en de voor decoder-gerelateerde onderdelen (bijv. de_gru).
Deze oefening maakt deel uit van de cursus
Machine Translation met Keras
Oefeninstructies
- Importeer de
Dense- enTimeDistributed-lagen uit Keras. - Definieer een
Dense-laag metsoftmax-activatie diefr_vocaboutputs heeft. - Wikkel de
Dense-laag in eenTimeDistributed-laag. - Krijg de uiteindelijke voorspelling van het model door
de_outdoor te geven aan de laagde_dense_time.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Import Dense and TimeDistributed layers
from tensorflow.keras.____ import ____, ____
# Define a softmax dense layer that has fr_vocab outputs
de_dense = ____(____, ____)
# Wrap the dense layer in a TimeDistributed layer
de_dense_time = ____(de_dense)
# Get the final prediction of the model
de_pred = ____(de_out)
print("Prediction shape: ", de_pred.shape)