Perplexity testen
Je hebt een gegevensset met tweets die zijn verstuurd door tweetbots tijdens de Amerikaanse verkiezingen van 2016. Je leidinggevende heeft twee interessante accounttypen aangewezen: Left en Right. Je leidinggevende heeft je gevraagd topic modeling uit te voeren op de tweets van Right-tweetbots. Daarnaast hoopt je leidinggevende de inhoud van deze tweets samen te vatten met topic modeling. Voer topic modeling uit met 5, 15 en 50 topics om een algemeen idee te krijgen van hoeveel topics er in de gegevens zitten.
Deze oefening maakt deel uit van de cursus
Introductie tot Natural Language Processing in R
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
library(topicmodels)
# Setup train and test data
sample_size <- floor(0.90 * nrow(right_matrix))
set.seed(1111)
train_ind <- sample(nrow(right_matrix), size = sample_size)
train <- right_matrix[train_ind, ]
test <- right_matrix[-train_ind, ]
# Peform topic modeling
lda_model <- LDA(___, k = ___, method = ___,
control = list(seed = 1111))
# Train
___(lda_model, newdata = ___)
# Test
___(lda_model, newdata = ___)