Odstranění řídkých termínů

Spouštět klasifikační modely na řídkých maticích může být výpočetní noční můra. Bez přístupu k GPU nebo cloudovým výpočetním zdrojům můžeš na svém lokálním počítači narazit na problémy s časem i pamětí. Máš k dispozici matici dokumentů a termínů a plánuješ otestovat několik různých algoritmů, abys našel/a ten nejlepší klasifikační model. V tomto cvičení odstraníš z poskytnuté matice matrix část řídkých termínů na různých úrovních řídkosti.

U každé úrovně řídkosti si poznamenej, kolik termínů v matici zbyde.

Toto cvičení je součástí kurzu

Úvod do zpracování přirozeného jazyka v R

Zobrazit kurz

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

less_sparse_matrix <-
  ___(___, sparse = ___)

# Print results
matrix
less_sparse_matrix

Upravit a spustit kód

Toto cvičení je součástí kurzu

Úvod do zpracování přirozeného jazyka v R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Začněte kurz zdarma

První kapitola kurzu Úvod do zpracování přirozeného jazyka tě připraví na první analýzu textu. Prozkoumáš regulární výrazy a tokenizaci – dva z nejběžnějších stavebních kamenů většiny analytických úloh. Regulární výrazy ti umožní vyhledávat libovolné vzory a tokenizace ti pomůže připravit a vyčistit text pro sofistikovanější analýzu. Tato kapitola je nezbytným základem pro techniky, které se naučíš v dalších kapitolách kurzu.

Exercise 1: Základy regulárních výrazů Exercise 2: Procvičování syntaxe s grep Exercise 3: Prozkoumání funkcí pro regulární výrazy.Exercise 4: Tokenizace Exercise 5: Funkce v tidytext Exercise 6: Tokenizace: věty Exercise 7: Základy čištění textu Exercise 8: Předzpracování textu: odstranění stop slov Exercise 9: Předzpracování textu: Stemming

V této kapitole se seznámíš s nejrozšířenějšími a nejprobádanějšími přístupy k analýze textu. Naučíš se vytvořit textový korpus, rozšířit reprezentaci bag-of-words na matici TFIDF a pomocí metriky kosinové podobnosti zjistit, jak jsou si dva texty navzájem blízké. Upevníš si základy NLP a připravíš se na jeho praktické aplikace ve 3. a 4. kapitole.

Exercise 1: Práce s korpusem v R Exercise 2: Prozkoumej R korpus Exercise 3: Vytvoření tibble z korpusu Exercise 4: Vytvoření korpusu Exercise 5: Reprezentace bag-of-words Exercise 6: Procvič si BoW Exercise 7: Příklad BoW Exercise 8: Řídké matice Exercise 9: TFIDF Exercise 10: Ruční výpočty Exercise 11: Praxe s TFIDF Exercise 12: Kosinová podobnost Exercise 13: Příklad selhání při analýze textu Exercise 14: Příklad kosinové podobnosti

Třetí kapitola se zaměřuje na dva běžné přístupy k analýze textu: klasifikační modelování a tematické modelování. Pokud pracuješ na projektech zaměřených na analýzu textu, dříve nebo později využiješ jednu z těchto metod, nebo obě. Kapitola tě naučí, jak obě techniky provádět, a přiblíží ti, jak k nim přistupovat v praxi.

Exercise 1: Příprava textu pro modelování Exercise 2: Příprava dat Exercise 3: Odstranění řídkých termínů

Aktuální cvičení

Exercise 4: Klasifikační modelování Exercise 5: Příklad klasifikačního modelu Exercise 6: Matice záměn Exercise 7: TFIDF tibble vs. dtm Exercise 8: Úvod do topic modelingu Exercise 9: Procvičení LDA Exercise 10: Přiřazení témat k dokumentům Exercise 11: LDA v praxi Exercise 12: Testování perplexity Exercise 13: Vyhodnocení výsledků LDA

Ve čtvrté kapitole se věnujeme dvěma pilířům zpracování přirozeného jazyka: analýze sentimentu a word embeddings. Jde o techniky, které by neměl přeskočit nikdo, kdo se učí základy analýzy textu. Navíc se stručně seznámíš s BERT, tagováním slovních druhů a rozpoznáváním pojmenovaných entit. Celý kurz pokrývá téměř 15 různých analytických technik, a proto čtvrtá kapitola završí vše přehledným shrnutím toho, co ses v kurzu naučil/a.

Exercise 1: Analýza sentimentu Exercise 2: Lexikony tidytext Exercise 3: Skóre sentimentu Exercise 4: Sentiment a emoce Exercise 5: Word embeddings Exercise 6: Procvičení h2o Exercise 7: word2vec Exercise 8: Další techniky analýzy NLP Exercise 9: Přehled metod č. 1 Exercise 10: Opakování metod č. 2 Exercise 11: Závěr