Токенізація речень у Keras

Тут ви попрацюєте з Keras Tokenizer. Keras Tokenizer — це зручний інструмент, що дозволяє виконувати ключову обробку тексту всього кількома рядками коду. Наприклад, Keras Tokenizer автоматично зіставляє слова у вашому словнику з їхніми ID одним викликом функції. Тут ви розглянете це докладніше.

Ви створите об'єкт Keras Tokenizer і натренуєте його на деякому тексті, що дасть змогу Tokenizer побудувати словник слів і їхніх відповідних ID. Текст для тренування Tokenizer взято з Udacity Github Repo.

Ця вправа є частиною курсу

Machine Translation з Keras

Переглянути курс

Інструкції до вправи

Створіть об'єкт токенайзера Keras.
Натренуйте токенайзер на en_text.
Отримайте ID слова для кожного слова w зі списку ["january", "apples", "summer"].
Надрукуйте слово та його відповідний ID.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

from tensorflow.keras.preprocessing.text import Tokenizer

# Define a Keras Tokenizer
en_tok = ____

# Fit the tokenizer on some text
en_tok.____(____)

for w in ["january", "apples", "summer"]:
  # Get the word ID of word w
  id = en_tok.____[____]
  # Print the word and the word ID
  print(____, " has id: ", _____)

Редагувати та запускати код