CommencezCommencez gratuitement

Construire votre modèle LSTM

Vous avez déjà préparé vos séquences de texte. Il est temps de construire votre modèle LSTM!

Rappelez‑vous : vos séquences comptaient 4 mots chacune. Votre modèle sera entraîné sur les trois premiers mots de chaque séquence pour prédire le 4e. Vous allez utiliser une couche Embedding qui apprendra à transformer les mots en vecteurs porteurs de sens. Ces vecteurs seront ensuite transmis à une simple couche LSTM. La sortie est une couche Dense avec autant de neurones qu'il y a de mots dans le vocabulaire et une activation softmax. C'est ce qui nous permet d'obtenir le mot suivant le plus probable parmi tous les mots possibles.

La taille du vocabulaire (le nombre de mots uniques) est stockée dans vocab_size.

Cette activité fait partie du cours

Introduction à Deep Learning avec Keras

Voir le cours

Instructions de l’exercice

  • Importez les couches Embedding, LSTM et Dense depuis les couches de tensorflow.keras.
  • Ajoutez une couche Embedding() de la taille du vocabulaire, qui transformera les mots en vecteurs de 8 nombres et recevra des séquences de longueur 3.
  • Ajoutez une couche LSTM() de 32 neurones.
  • Ajoutez une couche cachée Dense() de 32 neurones et une couche de sortie de vocab_size neurones avec softmax.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import the Embedding, LSTM and Dense layer
from tensorflow.keras.____ import ____, ____, ____

model = Sequential()

# Add an Embedding layer with the right parameters
model.add(____(input_dim = ____, input_length = ____, output_dim = ____, ))

# Add a 32 unit LSTM layer
model.add(____(____))

# Add a hidden Dense layer of 32 units and an output layer of vocab_size with softmax
model.add(Dense(____, activation='relu'))
model.add(Dense(____, activation=____))
model.summary()
Modifier et exécuter le code