Las incrustaciones mejoran el rendimiento.

¿La capa de incrustación mejora la precisión del modelo? Veámoslo en los mismos datos de IMDB.

El modelo ya se había entrenado con 10 épocas, al igual que en el modelo anterior con una celda de tipo « simpleRNN ». Para comparar los modelos, hay disponible un conjunto de prueba (X_test, y_test) en el entorno, así como el modelo antiguo simpleRNN_model. La precisión del modelo antiguo se carga en la variable acc_SimpleRNN.

Todos los módulos y funciones necesarios cargados en el entorno: Sequential() desde keras.models, Embedding y Dense desde keras.layers y SimpleRNN desde keras.layers.

Este ejercicio forma parte del curso

Redes neuronales recurrentes (RNN) para el modelado del lenguaje con Keras

Instrucciones del ejercicio

Añade la capa de incrustación al modelo.
Calcula la precisión del modelo y guárdala en la variable acc_embeddings.
Imprime la precisión de los modelos antiguo y nuevo.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Create the model with embedding
model = Sequential(name="emb_model")
model.add(____(input_dim=max_vocabulary, output_dim=wordvec_dim, input_length=max_len))
model.add(SimpleRNN(units=128))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Load pre-trained weights
model.load_weights('embedding_model_weights.h5')

# Evaluate the models' performance (ignore the loss value)
_, ____ = model.evaluate(X_test, y_test, verbose=0)

# Print the results
print("SimpleRNN model's accuracy:\t{0}\nEmbeddings model's accuracy:\t{1}".format(acc_simpleRNN, ____))

Editar y ejecutar código

Este ejercicio forma parte del curso

Redes neuronales recurrentes (RNN) para el modelado del lenguaje con Keras

AvanzadoNivel de habilidad

4.8+

Comienza el curso gratis

En este capítulo, aprenderás los fundamentos de las redes neuronales recurrentes (RNN). Comenzaremos con algunos requisitos previos, continuaremos con la comprensión de cómo fluye la información a través de la red y, finalmente, veremos cómo implementar dichos modelos con Keras en la tarea de clasificación del sentimiento.

Exercise 1: Introducción al curso Exercise 2: Comparación del número de parámetros de RNN y ANN Exercise 3: Análisis de sentimiento Exercise 4: Modelos secuencia a secuencia Exercise 5: Introducción a los modelos lingüísticos Exercise 6: Acostumbrarse a los datos de texto Exercise 7: Preparación de datos de texto para la entrada del modelo Exercise 8: Transformar texto nuevo Exercise 9: Introducción a las RNN dentro de Keras Exercise 10: Modelos Keras Exercise 11: Preprocesamiento con Keras Exercise 12: Tu primer modelo RNN

Aprenderás sobre los problemas de gradiente desaparecido y explosivo, que suelen producirse en las RNN, y cómo solucionarlos con las células GRU y LSTM. Además, crearás capas de incrustación para modelos de lenguaje y volverás a abordar la tarea de clasificación del sentimiento.

Exercise 1: Desvanecimiento y explosión de gradientes Exercise 2: Problema de gradiente explosivo Exercise 3: Problema del gradiente desaparecido Exercise 4: Celdas GRU y LSTM Exercise 5: Las células GRU son mejores que las RNN simples.Exercise 6: Apilamiento de capas RNN Exercise 7: La capa de incrustación Exercise 8: Comparación del número de parámetros Exercise 9: Aprendizaje por transferencia Exercise 10: Las incrustaciones mejoran el rendimiento.

Ejercicio actual

Exercise 11: Revisión de la clasificación del sentimiento Exercise 12: Mejor clasificación del sentimiento Exercise 13: Uso de la capa CNN

A continuación, en este capítulo aprenderás a preparar los datos para la tarea de clasificación multiclase, así como las diferencias entre la clasificación multiclase y la clasificación binaria (análisis de sentimientos). Por último, aprenderás a crear modelos y medir su rendimiento con Keras.

Exercise 1: Preprocesamiento de datos Exercise 2: Prepara vectores de etiquetas Exercise 3: Preprocesar datos Exercise 4: Aprendizaje por transferencia para modelos lingüísticos Exercise 5: Punto de partida del aprendizaje por transferencia Exercise 6: Word2Vec Exercise 7: Modelos de clasificación multiclase Exercise 8: Exploración del conjunto de datos 20 News Groups Exercise 9: Clasificación de artículos periodísticos Exercise 10: Evaluación del rendimiento del modelo Exercise 11: Compromiso entre precisión y recuperación Exercise 12: Precisión o recuperación, esa es la cuestión Exercise 13: Rendimiento en la clasificación multiclase

Este capítulo presenta dos aplicaciones de los modelos RNN: Generación de texto y traducción automática neuronal. Aprenderás a preparar los datos de texto en el formato que necesitan los modelos. El modelo Text Generation se utiliza para replicar la forma de hablar de un personaje y nos divertiremos imitando a Sheldon, de The Big Bang Theory. La traducción automática neuronal se utiliza, por ejemplo, en Google Translate, en un modelo mucho más complejo. En este capítulo, crearás un modelo que traduce frases cortas del portugués al inglés.

Exercise 1: Modelos de secuencia a secuencia Exercise 2: Ejemplos de generación de texto Exercise 3: Ejemplo de NMT Exercise 4: La función generadora de texto Exercise 5: Predice el siguiente carácter Exercise 6: Generar frase con contexto Exercise 7: Cambiar la escala de probabilidad Exercise 8: Modelos de generación de texto Exercise 9: Crear vectores de frases y caracteres siguientes Exercise 10: Preparación de los datos para el entrenamiento Exercise 11: Creación del modelo de generación de texto Exercise 12: Traducción automática neuronal Exercise 13: Preparación del texto de entrada Exercise 14: Preparación del texto de salida Exercise 15: Traducir portugués a inglés Exercise 16: ¡Enhorabuena!