Частина 2: Дослідження набору даних

Тепер ви дослідите деякі властивості набору даних. Зокрема, ви визначите середню довжину (тобто кількість слів) усіх речень і розмір словника для англомовного набору даних.

У цій вправі надано англійський набір даних en_text, що містить список англійських речень. Ви використовуватимете пов'язану зі списками Python функцію <list>.extend(), яка є іншим варіантом функції <list>.append(). Розгляньмо різницю на прикладі. Нехай a=[1,2,3] і b=[4,5]. Виклик a.append(b) дасть список [1,2,3,[4,5]], тоді як a.extend(b) дасть [1,2,3,4,5].

Ця вправа є частиною курсу

Machine Translation з Keras

Переглянути курс

Інструкції до вправи

Обчисліть довжини кожного речення за допомогою функцій split() і len(), ітеруючись через en_text.
Обчисліть середню довжину речень за допомогою numpy.
Заповніть список all_words у тілі циклу for, додаючи всі слова, знайдені в реченнях після токенізації.
Перетворіть список all_words на об'єкт set і обчисліть довжину/розмір цієї множини.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Compute length of sentences
sent_lengths = [len(____.____(____)) for en_sent in ____]
# Compute the mean of sentences lengths
mean_length = np.____(____)
print('(English) Mean sentence length: ', mean_length)

all_words = []
for sent in en_text:
  # Populate all_words with all the words in sentences
  all_words.____(____.____(____))
# Compute the length of the set containing all_words
vocab_size = len(____(____))
print("(English) Vocabulary size: ", vocab_size)

Редагувати та запускати код