Výběr tokenizéru

Který z níže uvedených vzorů je pro následující string nejlepším tokenizérem? Pokud možno chceš zachovat interpunkci vět jako samostatné tokeny, ale '#1' by mělo zůstat jako jeden token.

my_string = "SOLDIER #1: Found them? In Mercea? The coconut's tropical!"

String je v tvém pracovním prostředí dostupný jako my_string a vzory jsou předem načteny jako pattern1, pattern2, pattern3 a pattern4.

Navíc je z nltk.tokenize importována funkce regexp_tokenize. Pomocí regexp_tokenize(string, pattern) s my_string a jedním ze vzorů jako argumenty můžeš sám/sama experimentovat a zjistit, který tokenizér je nejlepší.

Možné odpovědi

r"(\w+|\?|!)"

r"(\w+|#\d|\?|!)"

r"(#\d\w+\?!)"

r"\s+"

cvičení

Výběr tokenizéru

Pokyny

Možné odpovědi

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

Možné odpovědi

cvičení