Partie 1 : Explorer l'ensemble de données
Vous allez maintenant explorer un peu l'ensemble de données. Vous allez d'abord vous familiariser avec la forme des données. Vous afficherez quelques exemples et verrez comment découper les phrases du jeu de données en mots individuels (tokenisation). Pour l'anglais, la tokenisation peut sembler une tâche simple ; toutefois, certaines langues comme le japonais ne sont pas délimitées de manière aussi uniforme que l'anglais.
Pour cet exercice, deux ensembles de données vous sont fournis : en_text et fr_text. Le tableau en_text contient une liste de phrases anglaises, tandis que fr_text contient la liste correspondante de phrases françaises.
Cette activité fait partie du cours
Traduction automatique avec Keras
Instructions de l’exercice
- Écrivez une fonction
zip()qui parcourt les 5 premières phrases des phrases anglaises (en_text) et françaises (fr_text). - Récupérez la première phrase anglaise depuis
en_text. - Tokenisez la phrase obtenue à l'aide de la fonction
split()et du caractère espace, puis assignez le résultat àfirst_words. - Affichez les mots tokenisés.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Iterate through the first 5 English and French sentences in the dataset
for en_sent, fr_sent in zip(____, ____):
print("English: ", en_sent)
print("\tFrench: ", fr_sent)
# Get the first sentence of the English dataset
first_sent = ____[____]
print("First sentence: ", first_sent)
# Tokenize the first sentence
____ = ____.____(____)
# Print the tokenized words
print("\tWords: ", ____)