Partie 1 : Définir le modèle complet

Ici, vous allez implémenter les dernières couches du modèle encodeur-décodeur. Vous utiliserez des couches Dense et TimeDistributed pour obtenir les prédictions finales (c.-à-d. les probabilités des mots français prédits) du modèle encodeur-décodeur.

On vous fournit l'encodeur et le décodeur (sans la partie supérieure) que vous avez déjà mis en place. La sortie de_out de la couche GRU du décodeur est fournie. Nous utilisons le préfixe en (p. ex. en_gru) pour tout ce qui concerne l'encodeur et de pour ce qui concerne le décodeur (p. ex. de_gru).

Cette activité fait partie du cours

Traduction automatique avec Keras

Voir le cours

Instructions de l’exercice

Importez les couches Dense et TimeDistributed de Keras.
Définissez une couche Dense avec l'activation softmax qui produit fr_vocab sorties.
Encapsulez la couche Dense dans une couche TimeDistributed.
Obtenez la prédiction finale du modèle en passant de_out à la couche de_dense_time.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import Dense and TimeDistributed layers
from tensorflow.keras.____ import ____, ____
# Define a softmax dense layer that has fr_vocab outputs
de_dense = ____(____, ____)
# Wrap the dense layer in a TimeDistributed layer
de_dense_time = ____(de_dense)
# Get the final prediction of the model
de_pred = ____(de_out)
print("Prediction shape: ", de_pred.shape)

Modifier et exécuter le code