Vous vous souvenez peut‑être que, dans un chapitre précédent, nous avons utilisé un paquet de détection de langue pour déterminer la langue de différents avis produits Amazon. Dans cet exercice, vous allez d’abord détecter les langues dans non_english_reviews. Les avis sont rédigés dans plusieurs langues, mais vous ne sélectionnerez QUE ceux en espagnol. N’hésitez pas à revoir la vidéo sur la détection de langues étrangères si vous avez oublié certains concepts.

Dans un second temps, vous allez créer des jetons de mots à partir des avis en espagnol, puis les raciner (stemming) en utilisant un stemmer SnowBall pour la langue espagnole. Le paquet de détection de langue n’est malheureusement pas parfait. Il est donc possible que la langue détectée soit parfois incorrecte.

TfIdf : d’autres façons de transformer le texte

Create Your Free Account