Point de départ pour le transfert d’apprentissage
Dans cet exercice, vous allez observer l’intérêt d’utiliser des vecteurs préentraînés comme point de départ pour votre modèle.
Vous comparerez l’accuracy de deux modèles entraînés pendant deux époques. L’architecture des modèles est identique : une couche d’embedding, une couche LSTM avec 128 unités et une couche de sortie avec 5 unités, correspondant au nombre de classes dans l’échantillon de données. La différence est que l’un des modèles utilise des vecteurs préentraînés dans la couche d’embedding (transfert d’apprentissage) et l’autre non.
Les vecteurs préentraînés utilisés sont GloVE avec 200 dimensions. L’historique d’accuracy sur l’ensemble de validation des deux modèles est disponible dans les variables history_no_emb et history_emb.
Cet exercice fait partie du cours
Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras
Instructions
- Importez le module
matplotlib.pyplotsous le nomplt. - Ajoutez au graphique la liste des accuracies du modèle sans embeddings.
- Ajoutez au graphique la liste des accuracies du modèle avec embeddings.
- Affichez le graphique en utilisant la méthode
.show().
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import plotting package
import matplotlib.____ as ____
# Insert lists of accuracy obtained on the validation set
plt.plot(____['acc'], marker='o')
plt.plot(history_emb[____], marker='o')
# Add extra descriptions to plot
plt.title('Learning with and without pre-trained embedding vectors')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(['no_embeddings', 'with_embeddings'], loc='upper left')
# Display the plot
plt.____