ストップワードと余分なスペースを削除する

テキストのコーパスには、通常「a」「an」「the」「of」「but」などの一般的な語が多く含まれます。自然言語処理では、これらをストップワードと呼びます。

ストップワードは、コーパス内のより重要な語に注目して洞察を得られるよう、前処理の段階で通常は削除します。

また、記号、句読点、数字、ストップワードを削除した際に生じる余分なスペースも、コーパスから取り除く必要があります。