Como você viu, usar o CountVectorizer com as configurações padrão cria uma feature para cada palavra do seu corpus. Isso pode gerar features demais, muitas vezes incluindo aquelas que agregam pouquíssimo valor analítico.

Para esse objetivo, o CountVectorizer tem parâmetros que você pode definir para reduzir o número de features:

min_df : Use apenas palavras que aparecem em mais do que essa porcentagem de documentos. Isso pode ser usado para remover palavras fora do padrão que não se generalizam entre textos.
max_df : Use apenas palavras que aparecem em menos do que essa porcentagem de documentos. Isso é útil para eliminar palavras muito comuns que ocorrem em todo corpus sem agregar valor, como "and" ou "the".

N-grams

Create Your Free Account