Construiește modelul tău LSTM
Ai pregătit deja secvențele de text. Acum e momentul să construiești modelul LSTM!
Amintește-ți că secvențele tale aveau câte 4 cuvinte fiecare — modelul va fi antrenat pe primele trei cuvinte din fiecare secvență, prezicând cel de-al 4-lea. Vei folosi un strat Embedding care va învăța să transforme cuvintele în vectori semnificativi. Acești vectori vor fi apoi transmiși unui strat simplu LSTM. Ieșirea este un strat Dense cu atâția neuroni câte cuvinte există în vocabular și cu activarea softmax. Astfel, modelul va putea identifica cel mai probabil cuvânt următor dintre toate cuvintele posibile.
Dimensiunea vocabularului de cuvinte (numărul unic de cuvinte) este stocată în vocab_size.
Acest exercițiu face parte din cursul
Introducere în Deep Learning cu Keras
Instrucțiuni pentru exercițiu
- Importă straturile
Embedding,LSTMșiDensedintensorflow.keraslayers. - Adaugă un strat
Embedding()de dimensiunea vocabularului, care va transforma cuvintele în vectori de 8 numere și va primi secvențe de lungime 3. - Adaugă un strat
LSTM()cu 32 de neuroni. - Adaugă un strat ascuns
Dense()cu 32 de neuroni și un strat de ieșire cuvocab_sizeneuroni și activareasoftmax.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import the Embedding, LSTM and Dense layer
from tensorflow.keras.____ import ____, ____, ____
model = Sequential()
# Add an Embedding layer with the right parameters
model.add(____(input_dim = ____, input_length = ____, output_dim = ____, ))
# Add a 32 unit LSTM layer
model.add(____(____))
# Add a hidden Dense layer of 32 units and an output layer of vocab_size with softmax
model.add(Dense(____, activation='relu'))
model.add(Dense(____, activation=____))
model.summary()