Ajout de jetons spéciaux

Vous allez maintenant apprendre à ajouter les jetons sos (début) et eos (fin) aux phrases. Comme déjà mentionné, cette étape est facultative pour le modèle que vous avez actuellement, mais elle sera nécessaire pour un modèle que vous mettrez en place dans un chapitre ultérieur.

Pour ajouter ces jetons spéciaux, vous utiliserez la fonction Python string.join(). string.join() concatène une liste de chaînes en une seule chaîne à l'aide d'un délimiteur. Par exemple, si vous voulez convertir ['datacamp', 'is', 'awesome'] en 'datacamp is awesome', vous pouvez utiliser " ".join(['datacamp', 'is', 'awesome']), où " " (c'est-à-dire le caractère espace) est le délimiteur.

Pour cet exercice, un petit échantillon de 10 phrases en français a déjà été importé.

Cette activité fait partie du cours

Traduction automatique avec Keras

Voir le cours

Instructions de l’exercice

Parcourez la liste des phrases en français (fr_text).
Ajoutez un jeton "sos" pour indiquer le début et un jeton "eos" pour indiquer la fin de chaque phrase à l'aide de la fonction string.join().
Ajoutez la phrase modifiée à fr_text_new.
Affichez la phrase modifiée sent_new.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Modifier et exécuter le code