Tokeniser des phrases avec Keras

Ici, vous allez mettre la main à la pâte avec le Tokenizer de Keras. Le Tokenizer de Keras est un excellent utilitaire qui vous aide à effectuer des traitements de texte essentiels en quelques lignes de code. Par exemple, il peut faire correspondre automatiquement les mots de votre vocabulaire à des ID avec un seul appel de fonction. Vous allez en apprendre davantage à ce sujet ici.

Vous créerez un objet Tokenizer de Keras et l'entraînerez sur du texte, ce qui permettra au Tokenizer de construire un dictionnaire de mots et leurs ID correspondants. Le texte utilisé pour entraîner le Tokenizer est obtenu du dépôt GitHub d'Udacity.

Cette activité fait partie du cours

Traduction automatique avec Keras

Voir le cours

Instructions de l’exercice

Définissez un objet Tokenizer de Keras.
Entraînez le tokenizer sur en_text.
Obtenez l'ID de chaque mot w dans la liste donnée ["january", "apples", "summer"].
Affichez le mot et son ID correspondant.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

from tensorflow.keras.preprocessing.text import Tokenizer

# Define a Keras Tokenizer
en_tok = ____

# Fit the tokenizer on some text
en_tok.____(____)

for w in ["january", "apples", "summer"]:
  # Get the word ID of word w
  id = en_tok.____[____]
  # Print the word and the word ID
  print(____, " has id: ", _____)

Modifier et exécuter le code