Funkcje tidytext

Jakiej funkcji używa się do podziału tekstu na tokeny w pakiecie tidytext?

To ćwiczenie jest częścią kursu

Wprowadzenie do przetwarzania języka naturalnego w R

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Wprowadzenie do przetwarzania języka naturalnego w R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Rozpocznij kurs za darmo

Rozdział 1 kursu Wprowadzenie do przetwarzania języka naturalnego przygotuje cię do przeprowadzenia pierwszej analizy tekstu. Poznasz wyrażenia regularne i tokenizację – dwa z najczęściej stosowanych elementów większości zadań analitycznych. Wyrażenia regularne pozwalają wyszukiwać dowolne wzorce, a tokenizacja umożliwia przygotowanie i oczyszczenie tekstu na potrzeby bardziej zaawansowanej analizy. Ten rozdział jest niezbędny, by zmierzyć się z technikami omawianymi w kolejnych częściach kursu.

Exercise 1: Podstawy wyrażeń regularnych Exercise 2: Ćwiczenie składni z grep Exercise 3: Odkrywanie funkcji wyrażeń regularnych.Exercise 4: Tokenizacja Exercise 5: Funkcje tidytext

Bieżące ćwiczenie

Exercise 6: Tokenizacja: zdania Exercise 7: Podstawy czyszczenia tekstu Exercise 8: Przetwarzanie tekstu: usuwanie stop słów Exercise 9: Przetwarzanie tekstu: stemming

W tym rozdziale poznasz najpopularniejsze i najlepiej zbadane metody analizy tekstu. Nauczysz się tworzyć korpus tekstowy, rozszerzać reprezentację worka słów do postaci macierzy TFIDF oraz wykorzystywać miary podobieństwa cosinusowego do oceny, jak bardzo dwa fragmenty tekstu są do siebie podobne. Ugruntowane zostaną twoje podstawy w zakresie NLP, zanim przejdziesz do jego zastosowań w rozdziałach 3 i 4.

Exercise 1: Zrozumienie korpusu w R Exercise 2: Eksploracja korpusu w R Exercise 3: Tworzenie obiektu tibble z korpusu Exercise 4: Tworzenie korpusu Exercise 5: Reprezentacja bag-of-words Exercise 6: Ćwiczenie z BoW Exercise 7: Przykład worka słów (BoW)Exercise 8: Macierze rzadkie Exercise 9: TFIDF Exercise 10: Ręczne obliczenia Exercise 11: Ćwiczenie z TFIDF Exercise 12: Podobieństwo kosinusowe Exercise 13: Przykład błędnej analizy tekstu Exercise 14: Przykład podobieństwa cosinusowego

Rozdział 3 koncentruje się na dwóch popularnych podejściach do analizy tekstu: modelowaniu klasyfikacyjnym i modelowaniu tematycznym. Pracując z projektami analizy tekstu, prędzej czy później sięgniesz po jedną lub obie te metody. Ten rozdział uczy, jak je stosować w praktyce, i daje wgląd w to, jak podejść do nich w realnych sytuacjach.

Exercise 1: Przygotowanie tekstu do modelowania Exercise 2: Przygotowanie danych Exercise 3: Usuwanie rzadkich terminów Exercise 4: Modelowanie klasyfikacyjne Exercise 5: Przykład modelu klasyfikacji Exercise 6: Macierze pomyłek Exercise 7: Tibble TFIDF a dtm Exercise 8: Wprowadzenie do modelowania tematycznego Exercise 9: Ćwiczenie z LDA Exercise 10: Przypisywanie tematów do dokumentów Exercise 11: LDA w praktyce Exercise 12: Testowanie perplexity Exercise 13: Analiza wyników LDA

W rozdziale 4 omawiamy dwa filary przetwarzania języka naturalnego: analizę sentymentu i osadzenia słów. To techniki, których znajomość jest niezbędna każdej osobie poznającej podstawy analizy tekstu. Dodatkowo krótko zapoznasz się z modelem BERT, tagowaniem części mowy i rozpoznawaniem nazwanych encji. W kursie omówiliśmy blisko 15 różnych technik analitycznych, dlatego rozdział 4 kończy się podsumowaniem wszystkich kluczowych metod, których się nauczysz.

Exercise 1: Analiza sentymentu Exercise 2: Leksykony tidytext Exercise 3: Wyniki sentymentu Exercise 4: Analiza sentymentu i emocji Exercise 5: Osadzenia słów (word embeddings)Exercise 6: Ćwiczenie z h2o Exercise 7: word2vec Exercise 8: Dodatkowe techniki analizy NLP Exercise 9: Przegląd metod #1 Exercise 10: Przegląd metod #2 Exercise 11: Podsumowanie