Додавання спеціальних токенів

Тепер ви навчитеся додавати токени sos (позначає початок) і eos (позначає кінець) до речень. Як уже обговорювалося, цей крок є необов'язковим для поточної моделі, але він знадобиться для моделі, яку ви реалізуєте в наступному розділі.

Щоб додати ці спеціальні токени, ви використаєте функцію Python string.join(). string.join() об'єднує список рядків в один рядок, використовуючи роздільник. Наприклад, якщо потрібно перетворити ['datacamp', 'is', 'awesome'] на 'datacamp is awesome', ви можете використати " ".join(['datacamp', 'is', 'awesome']), де " " (тобто символ пробілу) — це роздільник.

Для цієї вправи вже імпортовано невелику вибірку з 10 французьких речень.

Ця вправа є частиною курсу

Machine Translation з Keras

Переглянути курс

Інструкції до вправи

Пройдіться циклом по списку французьких речень (fr_text).
Додайте токен "sos" на початку та токен "eos" у кінці кожного речення за допомогою функції string.join().
Додайте змінене речення до fr_text_new.
Виведіть змінене речення sent_new.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Редагувати та запускати код