ПочатиПочніть безкоштовно

Огляд TM (II)

Тепер створімо Document Term Matrix (DTM). У DTM:

  • Кожен рядок матриці відповідає документу.
  • Кожен стовпець — це унікальний словотокен.
  • Значення матриці відповідають частоті вживання слів у конкретному документі.

DTM є основою для багатьох аналізів типу bag of words («мішок слів»). Пізніше в курсі ви також використаєте споріднену Term Document Matrix (TDM). Це транспонована версія: стовпці представляють документи, а рядки — унікальні словотокени.

DTM слід будувати після очищення корпусу (за допомогою clean_corpus()). Для цього викличте DocumentTermMatrix() для об'єкта корпусу.

tm_dtm <- DocumentTermMatrix(tm_clean)

Якщо вам потрібне глибше повторення, перегляньте курс Text Mining with Bag-of-Words in R. Сподіваємося, ці дві вправи достатньо підготували вас, щоб упевнено розпочати аналіз тональності!

Зважайте, що це реальні дані з Twitter, тож завжди існує ризик наявності ненормативної лексики або іншого образливого контенту (у цій вправі та будь-яких наступних, де також використовуються реальні дані з Twitter).

Ця вправа є частиною курсу

Аналіз тональності в R

Переглянути курс

Інструкції до вправи

Ми створили об'єкт VCorpus() під назвою clean_text, що містить 1000 твітів із згадкою про каву. Твіти очищено попередніми кроками препроцесингу, і ваша мета — побудувати з них DTM.

  • Застосуйте DocumentTermMatrix() до корпусу clean_text, щоб створити DTM з вагами за частотою термів під назвою tf_dtm.
  • Перетворіть об'єкт DocumentTermMatrix() на звичайну матрицю за допомогою as.matrix(). Новий об'єкт назвіть tf_dtm_m.
  • Перевірте розміри матриці за допомогою dim().
  • Використайте індексування квадратними дужками, щоб переглянути підмножину матриці.
  • Виберіть рядки з 16 до 20 та стовпці з 2975 до 2985
  • Зверніть увагу на значення частоти для слова «working.»

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# clean_text is pre-defined
clean_text

# Create tf_dtm
tf_dtm <- ___

# Create tf_dtm_m
tf_dtm_m <- ___

# Dimensions of DTM matrix
___

# Subset part of tf_dtm_m for comparison
___[___, ___]
Редагувати та запускати код