Construye tu modelo LSTM
Ya has preparado tus secuencias de texto. ¡Es hora de construir tu modelo LSTM!
Recuerda que tus secuencias tenían 4 palabras cada una; el modelo se entrenará con las tres primeras palabras de cada secuencia para predecir la cuarta. Vas a usar una capa Embedding que, básicamente, aprenderá a convertir palabras en vectores con significado. Estos vectores se pasarán después a una LSTM sencilla. La salida será una capa Dense con tantas neuronas como palabras haya en el vocabulario y activación softmax. Esto es porque queremos obtener la palabra siguiente más probable entre todas las posibles.
El tamaño del vocabulario (el número de palabras únicas) está guardado en vocab_size.
Este ejercicio forma parte del curso
Introducción al Deep Learning con Keras
Instrucciones del ejercicio
- Importa las capas
Embedding,LSTMyDensedesdetensorflow.keraslayers. - Añade una capa
Embedding()del tamaño del vocabulario, que convierta palabras en vectores de 8 números y reciba secuencias de longitud 3. - Añade una capa
LSTM()de 32 neuronas. - Añade una capa oculta
Dense()de 32 neuronas y una capa de salida devocab_sizeneuronas consoftmax.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Import the Embedding, LSTM and Dense layer
from tensorflow.keras.____ import ____, ____, ____
model = Sequential()
# Add an Embedding layer with the right parameters
model.add(____(input_dim = ____, input_length = ____, output_dim = ____, ))
# Add a 32 unit LSTM layer
model.add(____(____))
# Add a hidden Dense layer of 32 units and an output layer of vocab_size with softmax
model.add(Dense(____, activation='relu'))
model.add(Dense(____, activation=____))
model.summary()