Usuwanie rzadkich terminów

Uruchamianie modeli klasyfikacji na rzadkich macierzach może być prawdziwym koszmarem obliczeniowym. Bez dostępu do GPU lub zasobów chmurowych możesz napotkać problemy z czasem i pamięcią na lokalnym komputerze. Otrzymujesz macierz dokumentów-terminów i planujesz przetestować kilka różnych algorytmów, aby znaleźć najlepszy model klasyfikacji. W tym ćwiczeniu usuniesz niektóre rzadkie terminy z dostarczonej macierzy matrix, stosując różne poziomy rzadkości.

Dla każdego poziomu rzadkości zwróć uwagę na liczbę pozostałych terminów w macierzy.

To ćwiczenie jest częścią kursu

Wprowadzenie do przetwarzania języka naturalnego w R

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

less_sparse_matrix <-
  ___(___, sparse = ___)

# Print results
matrix
less_sparse_matrix

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Wprowadzenie do przetwarzania języka naturalnego w R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Rozpocznij kurs za darmo

Rozdział 1 kursu Wprowadzenie do przetwarzania języka naturalnego przygotuje cię do przeprowadzenia pierwszej analizy tekstu. Poznasz wyrażenia regularne i tokenizację – dwa z najczęściej stosowanych elementów większości zadań analitycznych. Wyrażenia regularne pozwalają wyszukiwać dowolne wzorce, a tokenizacja umożliwia przygotowanie i oczyszczenie tekstu na potrzeby bardziej zaawansowanej analizy. Ten rozdział jest niezbędny, by zmierzyć się z technikami omawianymi w kolejnych częściach kursu.

Exercise 1: Podstawy wyrażeń regularnych Exercise 2: Ćwiczenie składni z grep Exercise 3: Odkrywanie funkcji wyrażeń regularnych.Exercise 4: Tokenizacja Exercise 5: Funkcje tidytext Exercise 6: Tokenizacja: zdania Exercise 7: Podstawy czyszczenia tekstu Exercise 8: Przetwarzanie tekstu: usuwanie stop słów Exercise 9: Przetwarzanie tekstu: stemming

W tym rozdziale poznasz najpopularniejsze i najlepiej zbadane metody analizy tekstu. Nauczysz się tworzyć korpus tekstowy, rozszerzać reprezentację worka słów do postaci macierzy TFIDF oraz wykorzystywać miary podobieństwa cosinusowego do oceny, jak bardzo dwa fragmenty tekstu są do siebie podobne. Ugruntowane zostaną twoje podstawy w zakresie NLP, zanim przejdziesz do jego zastosowań w rozdziałach 3 i 4.

Exercise 1: Zrozumienie korpusu w R Exercise 2: Eksploracja korpusu w R Exercise 3: Tworzenie obiektu tibble z korpusu Exercise 4: Tworzenie korpusu Exercise 5: Reprezentacja bag-of-words Exercise 6: Ćwiczenie z BoW Exercise 7: Przykład worka słów (BoW)Exercise 8: Macierze rzadkie Exercise 9: TFIDF Exercise 10: Ręczne obliczenia Exercise 11: Ćwiczenie z TFIDF Exercise 12: Podobieństwo kosinusowe Exercise 13: Przykład błędnej analizy tekstu Exercise 14: Przykład podobieństwa cosinusowego

Rozdział 3 koncentruje się na dwóch popularnych podejściach do analizy tekstu: modelowaniu klasyfikacyjnym i modelowaniu tematycznym. Pracując z projektami analizy tekstu, prędzej czy później sięgniesz po jedną lub obie te metody. Ten rozdział uczy, jak je stosować w praktyce, i daje wgląd w to, jak podejść do nich w realnych sytuacjach.

Exercise 1: Przygotowanie tekstu do modelowania Exercise 2: Przygotowanie danych Exercise 3: Usuwanie rzadkich terminów

Bieżące ćwiczenie

Exercise 4: Modelowanie klasyfikacyjne Exercise 5: Przykład modelu klasyfikacji Exercise 6: Macierze pomyłek Exercise 7: Tibble TFIDF a dtm Exercise 8: Wprowadzenie do modelowania tematycznego Exercise 9: Ćwiczenie z LDA Exercise 10: Przypisywanie tematów do dokumentów Exercise 11: LDA w praktyce Exercise 12: Testowanie perplexity Exercise 13: Analiza wyników LDA

W rozdziale 4 omawiamy dwa filary przetwarzania języka naturalnego: analizę sentymentu i osadzenia słów. To techniki, których znajomość jest niezbędna każdej osobie poznającej podstawy analizy tekstu. Dodatkowo krótko zapoznasz się z modelem BERT, tagowaniem części mowy i rozpoznawaniem nazwanych encji. W kursie omówiliśmy blisko 15 różnych technik analitycznych, dlatego rozdział 4 kończy się podsumowaniem wszystkich kluczowych metod, których się nauczysz.

Exercise 1: Analiza sentymentu Exercise 2: Leksykony tidytext Exercise 3: Wyniki sentymentu Exercise 4: Analiza sentymentu i emocji Exercise 5: Osadzenia słów (word embeddings)Exercise 6: Ćwiczenie z h2o Exercise 7: word2vec Exercise 8: Dodatkowe techniki analizy NLP Exercise 9: Przegląd metod #1 Exercise 10: Przegląd metod #2 Exercise 11: Podsumowanie