Ajouter des jetons spéciaux
Vous allez maintenant apprendre à ajouter les jetons « sos » (marque le début) et « eos » (marque la fin) aux phrases. Comme nous l'avons déjà mentionné, cette étape est facultative pour le modèle dont vous disposez actuellement, mais elle sera nécessaire pour un modèle que vous implémenterez dans un chapitre ultérieur.
Pour ajouter ces jetons spéciaux, vous utiliserez la fonction Python string.join(). string.join() joint une liste de chaînes à une seule chaîne à l'aide d'un délimiteur. Par exemple, si vous souhaitez convertir ['datacamp', 'is', 'awesome'] en 'datacamp is awesome', vous pouvez utiliser " ".join(['datacamp', 'is', 'awesome']), où l'" " (c'est-à-dire le caractère espace) est le délimiteur.
Pour cet exercice, un petit échantillon de 10 phrases en français a déjà été importé.
Cet exercice fait partie du cours
Traduction automatique avec Keras
Instructions
- Parcourez la liste des phrases en français (
fr_text). - Ajoutez un jeton «
"sos"» pour indiquer le début et un jeton «"eos"» pour indiquer la fin de chaque phrase à l'aide de la fonction «string.join()». - Veuillez ajouter la phrase modifiée à l'adresse
fr_text_new. - Veuillez imprimer la phrase modifiée : «
sent_new».
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')