TFIDF tibble vs. dtm

TFIDF lze využít pro podobnost dokumentů, klasifikaci textu a další úlohy. V konzoli máš načtený tibble left_right_tfidf a matici dokumentů a termínů left_right_matrix.

Které z následujících tvrzení je pravdivé?

A: Tibble obsahuje jeden řádek na dokument a jeden sloupec pro každé slovo, které se vyskytuje ve všech textech.
B: Tibble obsahuje počty slov, hodnoty tf, idf a tfidf pro každé slovo v každém dokumentu.
C: Tibble a matice mají stejný počet řádků.
D: Sloupce matice dokumentů a termínů lze použít v klasifikačních modelech.

Toto cvičení je součástí kurzu

Úvod do zpracování přirozeného jazyka v R

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Úvod do zpracování přirozeného jazyka v R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Začněte kurz zdarma

První kapitola kurzu Úvod do zpracování přirozeného jazyka tě připraví na první analýzu textu. Prozkoumáš regulární výrazy a tokenizaci – dva z nejběžnějších stavebních kamenů většiny analytických úloh. Regulární výrazy ti umožní vyhledávat libovolné vzory a tokenizace ti pomůže připravit a vyčistit text pro sofistikovanější analýzu. Tato kapitola je nezbytným základem pro techniky, které se naučíš v dalších kapitolách kurzu.

Exercise 1: Základy regulárních výrazů Exercise 2: Procvičování syntaxe s grep Exercise 3: Prozkoumání funkcí pro regulární výrazy.Exercise 4: Tokenizace Exercise 5: Funkce v tidytext Exercise 6: Tokenizace: věty Exercise 7: Základy čištění textu Exercise 8: Předzpracování textu: odstranění stop slov Exercise 9: Předzpracování textu: Stemming

V této kapitole se seznámíš s nejrozšířenějšími a nejprobádanějšími přístupy k analýze textu. Naučíš se vytvořit textový korpus, rozšířit reprezentaci bag-of-words na matici TFIDF a pomocí metriky kosinové podobnosti zjistit, jak jsou si dva texty navzájem blízké. Upevníš si základy NLP a připravíš se na jeho praktické aplikace ve 3. a 4. kapitole.

Exercise 1: Práce s korpusem v R Exercise 2: Prozkoumej R korpus Exercise 3: Vytvoření tibble z korpusu Exercise 4: Vytvoření korpusu Exercise 5: Reprezentace bag-of-words Exercise 6: Procvič si BoW Exercise 7: Příklad BoW Exercise 8: Řídké matice Exercise 9: TFIDF Exercise 10: Ruční výpočty Exercise 11: Praxe s TFIDF Exercise 12: Kosinová podobnost Exercise 13: Příklad selhání při analýze textu Exercise 14: Příklad kosinové podobnosti

Třetí kapitola se zaměřuje na dva běžné přístupy k analýze textu: klasifikační modelování a tematické modelování. Pokud pracuješ na projektech zaměřených na analýzu textu, dříve nebo později využiješ jednu z těchto metod, nebo obě. Kapitola tě naučí, jak obě techniky provádět, a přiblíží ti, jak k nim přistupovat v praxi.

Exercise 1: Příprava textu pro modelování Exercise 2: Příprava dat Exercise 3: Odstranění řídkých termínů Exercise 4: Klasifikační modelování Exercise 5: Příklad klasifikačního modelu Exercise 6: Matice záměn Exercise 7: TFIDF tibble vs. dtm

Aktuální cvičení

Exercise 8: Úvod do topic modelingu Exercise 9: Procvičení LDA Exercise 10: Přiřazení témat k dokumentům Exercise 11: LDA v praxi Exercise 12: Testování perplexity Exercise 13: Vyhodnocení výsledků LDA

Ve čtvrté kapitole se věnujeme dvěma pilířům zpracování přirozeného jazyka: analýze sentimentu a word embeddings. Jde o techniky, které by neměl přeskočit nikdo, kdo se učí základy analýzy textu. Navíc se stručně seznámíš s BERT, tagováním slovních druhů a rozpoznáváním pojmenovaných entit. Celý kurz pokrývá téměř 15 různých analytických technik, a proto čtvrtá kapitola završí vše přehledným shrnutím toho, co ses v kurzu naučil/a.

Exercise 1: Analýza sentimentu Exercise 2: Lexikony tidytext Exercise 3: Skóre sentimentu Exercise 4: Sentiment a emoce Exercise 5: Word embeddings Exercise 6: Procvičení h2o Exercise 7: word2vec Exercise 8: Další techniky analýzy NLP Exercise 9: Přehled metod č. 1 Exercise 10: Opakování metod č. 2 Exercise 11: Závěr