CommencerCommencer gratuitement

Créez votre modèle LSTM

Vous avez déjà préparé vos séquences de texte. Il est temps de construire votre modèle LSTM !

Rappelez-vous : vos séquences comptaient 4 mots chacune ; votre modèle sera entraîné sur les trois premiers mots de chaque séquence pour prédire le 4e. Vous allez utiliser une couche Embedding qui apprendra à transformer les mots en vecteurs pertinents. Ces vecteurs seront ensuite transmis à une simple couche LSTM. La sortie est une couche Dense avec autant de neurones qu’il y a de mots dans le vocabulaire et une activation softmax. Cela nous permet d’obtenir le mot suivant le plus probable parmi tous les mots possibles.

La taille du vocabulaire (le nombre de mots uniques) est stockée dans vocab_size.

Cet exercice fait partie du cours

Introduction au Deep Learning avec Keras

Afficher le cours

Instructions

  • Importez les couches Embedding, LSTM et Dense depuis tensorflow.keras layers.
  • Ajoutez une couche Embedding() de taille vocab_size, qui transformera les mots en vecteurs de 8 nombres et recevra des séquences de longueur 3.
  • Ajoutez une couche LSTM() de 32 neurones.
  • Ajoutez une couche cachée Dense() de 32 neurones et une couche de sortie de vocab_size neurones avec softmax.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Import the Embedding, LSTM and Dense layer
from tensorflow.keras.____ import ____, ____, ____

model = Sequential()

# Add an Embedding layer with the right parameters
model.add(____(input_dim = ____, input_length = ____, output_dim = ____, ))

# Add a 32 unit LSTM layer
model.add(____(____))

# Add a hidden Dense layer of 32 units and an output layer of vocab_size with softmax
model.add(Dense(____, activation='relu'))
model.add(Dense(____, activation=____))
model.summary()
Modifier et exécuter le code