Choisir un outil de tokenisation
Étant donnée la chaîne suivante, lequel des gabarits ci-dessous est le meilleur outil de tokenisation? Idéalement, vous voulez conserver la ponctuation de phrase comme des jetons distincts, tout en gardant '#1' comme un seul jeton.
my_string = "SOLDIER #1: Found them? In Mercea? The coconut's tropical!"
La chaîne est disponible dans votre espace de travail sous my_string, et les gabarits ont été préchargés sous pattern1, pattern2, pattern3 et pattern4 respectivement.
De plus, regexp_tokenize a été importée de nltk.tokenize. Vous pouvez utiliser regexp_tokenize(string, pattern) avec my_string et l'un des gabarits comme arguments pour expérimenter par vous-même et déterminer lequel est le meilleur outil de tokenisation.
Cette activité fait partie du cours
Introduction au traitement du langage naturel en Python
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice