tm の一般的なクリーニング関数
2通りのコーパス作成方法を学んだので、次はテキストのクリーニング（前処理）に集中しましょう。最初は短いテキストを整え、その後でより大きなコーパスに進みます。
Bag-of-Words によるテキストマイニングでは、クリーニングによって用語を集約しやすくなります。たとえば、"miner"、"mining"、"mine" を1つの用語として扱うのが適切な場合があります。具体的な前処理の手順はプロジェクトによって異なります。たとえば、ツイートで使われる語と法的文書で使われる語は大きく異なるため、クリーニングのやり方も大きく変わります。
一般的な前処理関数には次のものがあります。
tolower(): すべての文字を小文字にするremovePunctuation(): 句読点をすべて削除するremoveNumbers(): 数字を削除するstripWhitespace(): 余分な空白を削除する
tolower() はベース R の関数で、他の3つは tm パッケージから提供されます。以降、必要に応じて tm と qdap はこちらで読み込みます。新しいパッケージを紹介するときは、最初の一度だけみなさんに読み込んでいただきます。
スクリプトには、1つの文を含む変数 text が用意されています。
この演習はコースの一部です
Rで学ぶBag-of-Wordsによるテキストマイニング
演習の手順
次の各関数を text に適用し、結果をコンソールに表示してください。
- `tolower()`
- `removePunctuation()`
- `removeNumbers()`
- `stripWhitespace()`
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create the object: text
text <- "She woke up at 6 A.M. It\'s so early! She was only 10% awake and began drinking coffee in front of her computer."
# Make lowercase
___
# Remove punctuation
____
# Remove numbers
___
# Remove whitespace
___