1. Learn
    2. /
  2. Курси
    3. /
  3. Machine Translation з Keras
Connected

Вправа

Керування словником за допомогою Tokenizer

Давайте детальніше розглянемо роботу Tokenizer. У цій вправі ви навчитеся перетворювати довільне речення на послідовність за допомогою вже натренованого Tokenizer. Крім того, ви дізнаєтеся, як керувати розміром словника Tokenizer. Ви також дослідите, що відбувається зі словами поза словником (OOV), коли ви обмежуєте розмір словника Tokenizer.

Для цієї вправи вам надано Tokenizer en_tok, який ви реалізували раніше. Tokenizer вже імпортовано для вас.

Інструкції

100 XP
  • Перетворіть таке речення на послідовність за допомогою попереднього Tokenizer en_tok: she likes grapefruit , peaches , and lemons .
  • Створіть новий Tokenizer, en_tok_new, із розміром словника 50 та словом поза словником UNK.
  • Навчіть новий tokenizer на даних en_text.
  • Перетворіть речення she likes grapefruit , peaches , and lemons . на послідовність за допомогою en_tok_new.