総仕上げ：テキストベースのデンドログラム
ここまで学んだスキルを使って、最初のテキストベースのデンドログラムを作成しましょう。デンドログラムは、情報を要約してデータの構造を把握しやすくするためのものです。これは、平均値が母集団について何かを教えてはくれますが、すべてを伝えるわけではない、というのと似ています。どちらも解釈を誤る可能性があります。テキストでは、意味のないクラスタが多く出る一方で、有用なクラスタが現れることもあります。
TDM や DTM オブジェクトの特性として、dist() 関数で使う前に（as.matrix() で）行列に変換する必要があります。
chardonnay に関するツイートでは、ソウル音楽のレジェンドである Marvin Gaye がワードクラウドに現れたのは意外だったかもしれません。デンドログラムでも同じ傾向が見られるか確認してみましょう。
この演習はコースの一部です
Rで学ぶBag-of-Wordsによるテキストマイニング
演習の手順
tweets_tdmにremoveSparseTerms()を適用してtweets_tdm2を作成します。sparse = 0.975を指定します。tweets_tdm2にas.matrix()を使って行列に変換し、tdm_mを作成します。dist()関数を使ってtdm_mの距離を計算し、tweets_distを作成します。tweets_distにhclust()を適用して、hcという階層的クラスタオブジェクトを作成します。plot()にhcを渡してデンドログラムを作成します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create tweets_tdm2
___ <- ___(___, ___)
# Create tdm_m
___ <- ___(___)
# Create tweets_dist
___ <- ___(___)
# Create hc
___ <- ___(___)
# Plot the dendrogram
___(___)