Dendrograma uygun bir TDM oluştur

Artık bir dendrogram oluşturmanın adımlarını anladığına göre, bunları metne uygulayabilirsin. Ama önce, tm paketindeki removeSparseTerms() ile TDM’indeki sözcük sayısını sınırlaman gerekiyor. Peki TDM/DTM’in seyrekliğini neden ayarlamak isteyesin?

TDM ve DTM’ler seyrektir; yani çoğunlukla sıfırlardan oluşur. Unutma, 1000 tweet, 3000’in üzerinde terime sahip bir TDM’e dönüşebilir! Bu kadar kalabalık bir dendrogramı, özellikle daha fazla metinle çalışıyorsan, kolayca yorumlayamazsın.

Profesyonel ortamlarda iyi bir dendrogram genellikle 25 ila 70 terimli bir TDM’e dayanır. 70’ten fazla terim, görselleştirmeyi kalabalık ve anlaşılmaz yapabilir. Tersine, 25’ten az terim varsa, dendrogramın ilgili ve anlamlı kümeleri göstermeyebilir.

removeSparseTerms() kullanırken sparse parametresi TDM’de tutulacak toplam terim sayısını ayarlar. sparse değeri 1’e ne kadar yakınsa, o kadar çok terim tutulur. Bu değer, TDM’deki her terim için sıfırların yüzdesine göre bir eşik değerini temsil eder.