Meilleure classification de sentiments

Dans cet exercice, vous reprenez le problème de classification de sentiments vu au chapitre 1.

Vous allez augmenter la complexité du modèle et améliorer sa précision. Vous utiliserez une couche Embedding pour entraîner des vecteurs de mots sur l'ensemble d'entraînement et deux couches LSTM pour tenir compte de textes plus longs. Vous ajouterez aussi une couche Dense supplémentaire avant la sortie.

Ce n'est plus un modèle simple et l'entraînement peut prendre du temps. Pour cette raison, un modèle préentraîné est disponible en chargeant ses poids avec la méthode .load_weights() de la classe keras.models.Sequential. Le modèle a été entraîné sur 10 époques et ses poids se trouvent dans le fichier model_weights.h5.

Les modules suivants sont déjà chargés dans l'environnement : Sequential, Embedding, LSTM, Dropout, Dense.

Cette activité fait partie du cours

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

Instructions de l’exercice

Ajoutez une couche Embedding comme première couche du modèle.
Ajoutez une deuxième couche LSTM de 64 unités qui « retourne » les séquences.
Ajoutez une couche Dense supplémentaire de 16 unités.
Évaluez le modèle pour afficher la précision sur l'ensemble d'entraînement.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Build and compile the model
model = Sequential()
model.add(____(vocabulary_size, wordvec_dim, trainable=True, input_length=max_text_len))
model.add(____(64, return_sequences=____, dropout=0.2, recurrent_dropout=0.15))
model.add(LSTM(64, return_sequences=False, dropout=0.2, recurrent_dropout=0.15))
model.add(____(16))
model.add(Dropout(rate=0.25))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Load pre-trained weights
model.load_weights('model_weights.h5')

# Print the obtained loss and accuracy
print("Loss: {0}\nAccuracy: {1}".format(*model.____(X_test, y_test, verbose=0)))

Modifier et exécuter le code

Cette activité fait partie du cours

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous verrez les bases des réseaux de neurones récurrents (RNN). Après quelques préalables, vous comprendrez comment l'information circule dans le réseau et, pour finir, comment implémenter de tels modèles avec Keras pour une tâche de classification de sentiments.

Exercise 1: Introduction au cours Exercise 2: Comparer le nombre de paramètres d'un RNN et d'un ANN Exercise 3: Analyse de sentiments Exercise 4: Modèles « sequence to sequence »Exercise 5: Introduction aux modèles de langue Exercise 6: Se familiariser avec les données textuelles Exercise 7: Préparer des données textuelles pour l'entrée du modèle Exercise 8: Transformer un nouveau texte Exercise 9: Introduction aux RNN dans Keras Exercise 10: Modèles Keras Exercise 11: Prétraitement avec Keras Exercise 12: Votre premier modèle RNN

Vous apprendrez les problèmes de gradients qui s'évanouissent et qui explosent, fréquents dans les RNN, ainsi que la façon d'y faire face avec les cellules GRU et LSTM. De plus, vous créerez des couches d'intégration (embeddings) pour des modèles de langage et vous reprendrez la tâche de classification de sentiments.

Exercise 1: Gradients qui s'évanouissent et qui explosent Exercise 2: Problème de gradient explosif Exercise 3: Problème de gradient qui s'annule Exercise 4: Cellules GRU et LSTM Exercise 5: Les cellules GRU surpassent les SimpleRNN Exercise 6: Empiler des couches RNN Exercise 7: La couche Embedding Exercise 8: Comparaison du nombre de paramètres Exercise 9: Apprentissage par transfert Exercise 10: Les embeddings améliorent la performance Exercise 11: Classification des sentiments : retour Exercise 12: Meilleure classification de sentiments

Exercice en cours

Exercise 13: Utiliser la couche CNN

Dans ce chapitre, vous apprendrez à préparer les données pour une tâche de classification multiclasse, ainsi que les différences entre la classification multiclasse et la classification binaire (analyse de sentiments). Enfin, vous verrez comment créer des modèles et mesurer leur performance avec Keras.

Exercise 1: Prétraitement des données Exercise 2: Préparer les vecteurs d'étiquettes Exercise 3: Prétraiter les données Exercise 4: Apprentissage par transfert pour les modèles de langue Exercise 5: Point de départ de l'apprentissage par transfert Exercise 6: Word2Vec Exercise 7: Modèles de classification multiclasse Exercise 8: Explorer l'ensemble de données 20 News Groups Exercise 9: Classer des articles de presse Exercise 10: Évaluer la performance du modèle Exercise 11: Compromis précision-rappel Exercise 12: Précision ou Rappel, telle est la question Exercise 13: Performance en classification multiclasse

Ce chapitre vous présente deux applications des modèles RNN : la génération de texte et la traduction automatique neuronale. Vous apprendrez à préparer les données textuelles selon le format requis par les modèles. Le modèle de génération de texte sert à reproduire la façon de s'exprimer d'un personnage et nous nous amuserons à imiter Sheldon de The Big Bang Theory. La traduction automatique neuronale est utilisée, par exemple, par Google Traduction dans un modèle beaucoup plus complexe. Dans ce chapitre, vous créerez un modèle qui traduit de courtes phrases portugaises en anglais.

Exercise 1: Modèles séquence à séquence Exercise 2: Exemples de génération de texte Exercise 3: Exemple de NMT Exercise 4: La fonction de génération de texte Exercise 5: Prédire le prochain caractère Exercise 6: Générer une phrase avec contexte Exercise 7: Modifier l'échelle de probabilité Exercise 8: Modèles de génération de texte Exercise 9: Créer des vecteurs de phrases et de caractères suivants Exercise 10: Préparer les données pour l'entraînement Exercise 11: Créer le modèle de génération de texte Exercise 12: Traduction automatique neuronale Exercise 13: Préparer le texte d'entrée Exercise 14: Préparer le texte de sortie Exercise 15: Traduire du portugais vers l'anglais Exercise 16: Félicitations !