1. Apprendre
    2. /
  2. Cours
    3. /
  3. Introduction au traitement automatique des langues en R
Connected

Exercice

Exercice sur le TFIDF

Plus tôt, vous avez examiné une représentation en sac de mots d'articles sur le pétrole brut. Le calcul des valeurs TFIDF s'appuie sur cette représentation, mais tient compte de la fréquence d'apparition d'un mot dans un article et de sa fréquence dans l'ensemble des articles.

Pour évaluer la pertinence des mots lors de la comparaison d'articles différents, calculez les pondérations TFIDF pour les mots de crude, un ensemble de 20 articles sur le pétrole brut.

Instructions

100 XP
  • Calculez les valeurs TFIDF pour crude par article_id et par word. Enregistrez le tibble résultant sous le nom crude_weights.
  • Triez crude_weights avec la fonction arrange() par valeurs de tf_idf décroissantes.
  • Filtrez crude_weights pour obtenir les plus petites valeurs de tf_idf non nulles. Utilisez encore la fonction arrange.