Construya su modelo LSTM
Ya ha preparado sus secuencias de texto. ¡Es hora de construir su modelo LSTM!
Recuerde que sus secuencias tenían 4 palabras cada una, su modelo será entrenado en las tres primeras palabras de cada secuencia, prediciendo la 4ª. Va a utilizar una capa Embedding
que esencialmente aprenderá a convertir las palabras en vectores significativos. A continuación, estos vectores se pasarán a una capa simple de LSTM
. Nuestra salida es una capa Dense
con tantas neuronas como palabras en el vocabulario y softmax
activación. Esto se debe a que queremos obtener la palabra siguiente más probable de entre todas las posibles.
El tamaño del vocabulario de palabras (el número único de palabras) se almacena en vocab_size
.
Este ejercicio forma parte del curso
Introducción al aprendizaje profundo con Keras
Instrucciones de ejercicio
- Importe las capas
Embedding
,LSTM
yDense
detensorflow.keras
. - Añadir una capa
Embedding()
del tamaño del vocabulario, que convertirá las palabras en 8 vectores numéricos y recibirá secuencias de longitud 3. - Añade una capa de 32 neuronas
LSTM()
. - Añade una capa oculta
Dense()
de 32 neuronas y una capa de salida devocab_size
neuronas consoftmax
.
Ejercicio interactivo práctico
Pruebe este ejercicio completando este código de muestra.
# Import the Embedding, LSTM and Dense layer
from tensorflow.keras.____ import ____, ____, ____
model = Sequential()
# Add an Embedding layer with the right parameters
model.add(____(input_dim = ____, input_length = ____, output_dim = ____, ))
# Add a 32 unit LSTM layer
model.add(____(____))
# Add a hidden Dense layer of 32 units and an output layer of vocab_size with softmax
model.add(Dense(____, activation='relu'))
model.add(Dense(____, activation=____))
model.summary()