Criando o modelo de geração de texto
Neste exercício, você vai definir um modelo de geração de texto usando o Keras.
As variáveis n_vocab, que contém o tamanho do vocabulário, e input_shape, que contém a forma dos dados usados para o treinamento, já estão carregadas no ambiente. Além disso, os pesos de um modelo pré-treinado estão disponíveis no arquivo model_weights.h5. O modelo foi treinado com 40 épocas nos dados de treinamento. Lembre-se que, para treinar um modelo no Keras, basta usar o método “ .fit() ” nos dados de treinamento “ (X, y) ” e o parâmetro “ epochs ”. Por exemplo:
model.fit(X_train, y_train, epochs=40)
Este exercício faz parte do curso
Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras
Instruções do exercício
- Adicione uma camada de “
LSTM” que retorne as sequências. - Adicione uma camada “
LSTM” que não retorne as sequências. - Adicione a camada de saída com unidades d
n_vocab. - Mostra o resumo do modelo.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Instantiate the model
model = Sequential(name="LSTM model")
# Add two LSTM layers
model.add(____(64, input_shape=input_shape, dropout=0.15, recurrent_dropout=0.15, return_sequences=____, name="Input_layer"))
model.add(____(64, dropout=0.15, recurrent_dropout=0.15, return_sequences=____, name="LSTM_hidden"))
# Add the output layer
model.add(Dense(____, activation='softmax', name="Output_layer"))
# Compile and load weights
model.compile(loss='categorical_crossentropy', optimizer='adam')
model.load_weights('model_weights.h5')
# Summary
model.____