Выбор токенизатора

Для приведённой ниже строки определите, какой из шаблонов является наилучшим токенизатором. По возможности знаки препинания в конце предложений должны выделяться как отдельные токены, а '#1' должен оставаться единым токеном.

my_string = "SOLDIER #1: Found them? In Mercea? The coconut's tropical!"

Строка доступна в вашем рабочем пространстве как my_string, а шаблоны уже загружены под именами pattern1, pattern2, pattern3 и pattern4 соответственно.

Кроме того, функция regexp_tokenize импортирована из nltk.tokenize. Вы можете вызывать regexp_tokenize(string, pattern), передавая my_string и один из шаблонов в качестве аргументов, чтобы самостоятельно проверить, какой токенизатор работает лучше всего.