Токенизация слов с помощью NLTK

В этом упражнении вы будете работать с первой сценой фильма «Монти Пайтон и Священный Грааль», которая уже загружена в переменную scene_one. Вы можете просмотреть её содержимое в оболочке IPython!

Ваша задача — использовать функции word_tokenize и sent_tokenize из модуля nltk.tokenize, чтобы разбить текст на слова и предложения. В качестве примера используется первая сцена фильма «Монти Пайтон и Священный Грааль».

Это упражнение является частью курса

Введение в обработку естественного языка на Python

Посмотреть курс

Инструкции к упражнению

Импортируйте функции sent_tokenize и word_tokenize из модуля nltk.tokenize.
Токенизируйте все предложения в scene_one с помощью функции sent_tokenize().
Токенизируйте четвёртое предложение из sentences — оно доступно как sentences[3] — с помощью функции word_tokenize().
Найдите уникальные токены во всей сцене: примените word_tokenize() к scene_one, а затем преобразуйте результат в множество с помощью set().
Выведите найденные уникальные токены. Этот шаг уже выполнен за вас — нажмите Отправить ответ, чтобы увидеть результат!

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import necessary modules
____
____

# Split scene_one into sentences: sentences
sentences = ____(____)

# Use word_tokenize to tokenize the fourth sentence: tokenized_sent
tokenized_sent = ____(____[_])

# Make a set of unique tokens in the entire scene: unique_tokens
unique_tokens = ____(____(____))

# Print the unique tokens result
print(unique_tokens)

Редактировать и запускать код