Добавление специальных токенов

Сейчас вы научитесь добавлять токены sos (начало предложения) и eos (конец предложения) к предложениям. Как уже обсуждалось, этот шаг необязателен для текущей модели, однако он потребуется для модели, которую вы реализуете в следующей главе.

Для добавления специальных токенов используется функция Python string.join(). Функция string.join() объединяет список строк в одну строку с помощью разделителя. Например, чтобы преобразовать ['datacamp', 'is', 'awesome'] в 'datacamp is awesome', можно воспользоваться выражением " ".join(['datacamp', 'is', 'awesome']), где " " (пробел) является разделителем.

Для этого упражнения уже импортирована небольшая выборка из 10 французских предложений.

Это упражнение является частью курса

Машинный перевод с Keras

Посмотреть курс

Инструкции к упражнению

Выполните цикл по списку французских предложений (fr_text).
Добавьте токен "sos" для обозначения начала и токен "eos" для обозначения конца каждого предложения с помощью функции string.join().
Добавьте изменённое предложение в fr_text_new.
Выведите изменённое предложение sent_new.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Редактировать и запускать код