Regex и токенизация с NLTK
Twitter — популярный источник текстов для задач NLP. В этом упражнении вы создадите более сложный токенизатор для твитов с хэштегами и упоминаниями, используя nltk и регулярные выражения. Класс nltk.tokenize.TweetTokenizer предоставляет дополнительные методы и атрибуты для разбора твитов.
Вам даны примеры твитов для разбора с помощью TweetTokenizer и regexp_tokenize из модуля nltk.tokenize. Эти твиты уже загружены в переменную tweets. Изучите её в оболочке IPython!
В отличие от синтаксиса библиотеки regex, в nltk_tokenize() шаблон передаётся вторым аргументом.
Это упражнение является частью курса
Введение в обработку естественного языка на Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import the necessary modules
____
____