Partie 2 : Exploration du jeu de données

Vous allez maintenant examiner certaines caractéristiques du jeu de données. Plus précisément, vous déterminerez la longueur moyenne (c.-à-d. le nombre de mots) de toutes les phrases et la taille du vocabulaire pour le jeu de données en anglais.

Pour cet exercice, le jeu de données anglais en_text, qui contient une liste de phrases en anglais, est fourni. Vous utiliserez une fonction liée aux listes en Python appelée <list>.extend(), qui est une variante différente de la fonction <list>.append(). Voyons la différence avec un exemple. Soit a=[1,2,3] et b=[4,5]. a.append(b) donnera la liste [1,2,3,[4,5]], tandis que a.extend(b) donnera [1,2,3,4,5].

Cette activité fait partie du cours

Traduction automatique avec Keras

Voir le cours

Instructions de l’exercice

Calculez la longueur de chaque phrase en utilisant les fonctions split() et len(), tout en parcourant en_text.
Calculez la longueur moyenne des phrases avec numpy.
Remplissez la liste all_words, dans le corps de la boucle for, en y ajoutant tous les mots trouvés dans les phrases après la tokenisation.
Convertissez la liste all_words en un objet set et calculez la longueur/taille de cet ensemble.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Compute length of sentences
sent_lengths = [len(____.____(____)) for en_sent in ____]
# Compute the mean of sentences lengths
mean_length = np.____(____)
print('(English) Mean sentence length: ', mean_length)

all_words = []
for sent in en_text:
  # Populate all_words with all the words in sentences
  all_words.____(____.____(____))
# Compute the length of the set containing all_words
vocab_size = len(____(____))
print("(English) Vocabulary size: ", vocab_size)

Modifier et exécuter le code