Comme vous l’avez constaté, utiliser CountVectorizer avec ses paramètres par défaut crée une variable pour chaque mot du corpus. Cela peut générer un nombre beaucoup trop important de variables, souvent avec très peu de valeur analytique.

Pour cela, CountVectorizer propose des paramètres permettant de réduire le nombre de variables :

min_df : n’utiliser que les mots présents dans plus de ce pourcentage de documents. Cela permet d’éliminer les mots extrêmes qui ne se généralisent pas d’un texte à l’autre.
max_df : n’utiliser que les mots présents dans moins de ce pourcentage de documents. Utile pour supprimer les mots très fréquents qui apparaissent dans tous les corpus sans apporter de valeur, comme « and » ou « the ».

N-grammes

Create Your Free Account