Mała odległość, mała różnica

W ćwiczeniu wideo poznałeś różne sposoby obliczania podobieństwa i różnicy między ciągami znaków. Teraz przećwiczysz używanie pakietu stringdist do obliczania odległości między ciągami różnymi metodami. Warto znać kilka metod, ponieważ każda z nich sprawdza się lepiej w innych zastosowaniach.

Pakiet stringdist jest już wczytany.

To ćwiczenie jest częścią kursu

Czyszczenie danych w R

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Calculate Damerau-Levenshtein distance
stringdist(___, ___, method = ___)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Czyszczenie danych w R

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale nauczysz się radzić sobie z najczęstszymi problemami z brudnymi danymi. Dokonasz konwersji typów danych, zastosujesz ograniczenia zakresu, aby usunąć przyszłe punkty danych, oraz usuniesz zduplikowane rekordy, by uniknąć podwójnego liczenia.

Exercise 1: Ograniczenia typów danych Exercise 2: Typowe typy danych Exercise 3: Konwersja typów danych Exercise 4: Przycinanie ciągów znaków Exercise 5: Ograniczenia zakresu Exercise 6: Ograniczenia czasu trwania przejazdu Exercise 7: Powrót do przyszłości Exercise 8: Ograniczenia unikalności Exercise 9: Pełne duplikaty Exercise 10: Usuwanie częściowych duplikatów Exercise 11: Agregowanie częściowych duplikatów

Dane kategoryczne i tekstowe bywają jedną z najbardziej nieuporządkowanych części zbioru danych ze względu na swoją nieustrukturyzowaną naturę. W tym rozdziale nauczysz się usuwać zbędne spacje i wyrównywać wielkość liter w etykietach kategorii, łączyć wiele kategorii w jedną oraz ujednolicać format ciągów znaków.

Exercise 1: Weryfikacja przynależności Exercise 2: Tylko dla członków Exercise 3: Nieprawidłowa wartość Exercise 4: Problemy z danymi kategorycznymi Exercise 5: Wykrywanie niespójności Exercise 6: Poprawianie niespójności Exercise 7: Łączenie kategorii Exercise 8: Czyszczenie danych tekstowych Exercise 9: Wykrywanie niespójnych danych tekstowych Exercise 10: Zastępowanie i usuwanie Exercise 11: Nieprawidłowe numery telefonów

W tym rozdziale zmierzysz się z bardziej zaawansowanymi problemami z czyszczeniem danych – na przykład sprawdzisz, czy wagi są wszędzie podane w kilogramach, a nie w funtach. Zdobędziesz też cenne umiejętności, które pomogą ci weryfikować poprawność wartości i zadbać o to, by brakujące dane nie zaburzały wyników analiz.

Exercise 1: Jednolitość Exercise 2: Jednolitość dat Exercise 3: Jednolitość walut Exercise 4: Walidacja krzyżowa pól Exercise 5: Walidacja sum Exercise 6: Weryfikacja wieku konta Exercise 7: Kompletność Exercise 8: Rodzaje braków danych Exercise 9: Wizualizacja brakujących danych Exercise 10: Obsługa brakujących danych

Łączenie rekordów to skuteczna technika scalania wielu zbiorów danych, przydatna wtedy, gdy wartości zawierają literówki lub różne warianty pisowni. W tym rozdziale nauczysz się łączyć rekordy przez obliczanie podobieństwa między ciągami znaków, a następnie wykorzystasz nowe umiejętności, by połączyć dwa zbiory recenzji restauracji w jeden, spójny zbiór danych.

Exercise 1: Porównywanie ciągów znaków Exercise 2: Obliczanie odległości Exercise 3: Mała odległość, mała różnica

Bieżące ćwiczenie

Exercise 4: Poprawianie literówek za pomocą odległości między ciągami znaków Exercise 5: Generowanie i porównywanie par Exercise 6: Łączenie rekordów czy złączenie?Exercise 7: Blokowanie par Exercise 8: Porównywanie par Exercise 9: Punktacja i łączenie Exercise 10: Najpierw ocenianie czy wybieranie?Exercise 11: Łącząc wszystko w całość Exercise 12: Gratulacje!