Частина 1: Дослідження набору даних
Тепер ви трохи дослідите набір даних. Спочатку отримаєте уявлення про те, як виглядають дані. Ви виведете частину даних і навчитеся токенізувати речення в даних на окремі слова. Для англійської мови токенізація здається тривіальним завданням, однак є мови, як-от японська, де розділювачі не такі послідовні, як в англійській.
Для цієї вправи вам надано два набори даних: en_text і fr_text. У en_text міститься список англійських речень, а fr_text містить відповідний список французьких речень.
Ця вправа є частиною курсу
Machine Translation з Keras
Інструкції до вправи
- Напишіть функцію
zip(), яка ітерується через перші 5 речень з англійських (en_text) і французьких (fr_text) списків речень. - Отримайте перше англійське речення з
en_text. - Токенізуйте отримане речення за допомогою функції
split()і пробілу та присвойте результат зміннійfirst_words. - Виведіть токенізовані слова.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Iterate through the first 5 English and French sentences in the dataset
for en_sent, fr_sent in zip(____, ____):
print("English: ", en_sent)
print("\tFrench: ", fr_sent)
# Get the first sentence of the English dataset
first_sent = ____[____]
print("First sentence: ", first_sent)
# Tokenize the first sentence
____ = ____.____(____)
# Print the tokenized words
print("\tWords: ", ____)