Point de départ de l'apprentissage par transfert
Dans cet exercice, vous découvrirez l'intérêt d'utiliser des vecteurs pré-entraînés comme point de départ pour votre modèle.
Vous allez comparer la précision de deux modèles entraînés avec deux époques. L'architecture des modèles est identique : Une couche d'intégration, une couche d'LSTM s avec 128 unités et la couche de sortie avec 5 unités, qui correspond au nombre de classes dans les données de l'échantillon. La différence réside dans le fait qu'un modèle utilise des vecteurs pré-entraînés sur la couche d'intégration (apprentissage par transfert) et l'autre non.
Les vecteurs pré-entraînés utilisés étaient ceux de l'GloVE, avec 200 dimensions. L'historique de la précision de l'entraînement de l'ensemble de validation des deux modèles est disponible dans les variables history_no_emb et history_emb.
Cet exercice fait partie du cours
Réseaux neuronaux récurrents (RNN) pour la modélisation du langage avec Keras
Instructions
- Importez le module
matplotlib.pyplotsous le nomplt. - Ajoutez la liste de précision du modèle sans intégrations au graphique.
- Ajoutez la liste de précision du modèle avec les intégrations au graphique.
- Affichez le graphique à l'aide de la méthode
.show().
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import plotting package
import matplotlib.____ as ____
# Insert lists of accuracy obtained on the validation set
plt.plot(____['acc'], marker='o')
plt.plot(history_emb[____], marker='o')
# Add extra descriptions to plot
plt.title('Learning with and without pre-trained embedding vectors')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(['no_embeddings', 'with_embeddings'], loc='upper left')
# Display the plot
plt.____