1. Learn
    2. /
  2. Kurser
    3. /
  3. Traduction automatique avec Keras
Connected

Övning

Contrôler le vocabulaire avec le Tokenizer

Approfondissons un peu le fonctionnement du Tokenizer. Dans cet exercice, vous apprendrez à convertir une phrase quelconque en séquence à l'aide d'un Tokenizer entraîné. De plus, vous verrez comment contrôler la taille du vocabulaire du Tokenizer. Vous examinerez aussi ce qui arrive aux mots hors vocabulaire (OOV) lorsque vous limitez la taille du vocabulaire d'un Tokenizer.

Pour cet exercice, on vous fournit le Tokenizer en_tok que vous avez déjà implémenté. Le Tokenizer a été importé pour vous.

Instruktioner

100 XP
  • Convertissez la phrase suivante en séquence en utilisant le Tokenizer en_tok précédent : she likes grapefruit , peaches , and lemons .
  • Créez un nouveau Tokenizer, en_tok_new, avec une taille de vocabulaire de 50 et le mot hors vocabulaire UNK.
  • Ajustez le nouveau tokenizer sur les données en_text.
  • Convertissez la phrase she likes grapefruit , peaches , and lemons . en séquence avec en_tok_new.