W tym rozdziale nauczysz się radzić sobie z najczęstszymi problemami z brudnymi danymi. Dokonasz konwersji typów danych, zastosujesz ograniczenia zakresu, aby usunąć przyszłe punkty danych, oraz usuniesz zduplikowane rekordy, by uniknąć podwójnego liczenia.

Ograniczenia typów danych

Typowe typy danych

Konwersja typów danych

Przycinanie ciągów znaków

Ograniczenia zakresu

Ograniczenia czasu trwania przejazdu

Powrót do przyszłości

Ograniczenia unikalności

Pełne duplikaty

Usuwanie częściowych duplikatów

Agregowanie częściowych duplikatów

Typowe problemy z danymi

Dane kategoryczne i tekstowe bywają jedną z najbardziej nieuporządkowanych części zbioru danych ze względu na swoją nieustrukturyzowaną naturę. W tym rozdziale nauczysz się usuwać zbędne spacje i wyrównywać wielkość liter w etykietach kategorii, łączyć wiele kategorii w jedną oraz ujednolicać format ciągów znaków.

Weryfikacja przynależności

Tylko dla członków

Nieprawidłowa wartość

Problemy z danymi kategorycznymi

Wykrywanie niespójności

Poprawianie niespójności

Łączenie kategorii

Czyszczenie danych tekstowych

Wykrywanie niespójnych danych tekstowych

Zastępowanie i usuwanie

Nieprawidłowe numery telefonów

Dane kategoryczne i tekstowe

W tym rozdziale zmierzysz się z bardziej zaawansowanymi problemami z czyszczeniem danych – na przykład sprawdzisz, czy wagi są wszędzie podane w kilogramach, a nie w funtach. Zdobędziesz też cenne umiejętności, które pomogą ci weryfikować poprawność wartości i zadbać o to, by brakujące dane nie zaburzały wyników analiz.

Jednolitość

Jednolitość dat

Jednolitość walut

Walidacja krzyżowa pól

Walidacja sum

Weryfikacja wieku konta

Kompletność

Opcje

Brakujące całkowicie losowo

Brakujące losowo

Brakujące nielosowo

Rodzaje braków danych

Wizualizacja brakujących danych

Obsługa brakujących danych

Zaawansowane problemy z danymi

Łączenie rekordów to skuteczna technika scalania wielu zbiorów danych, przydatna wtedy, gdy wartości zawierają literówki lub różne warianty pisowni. W tym rozdziale nauczysz się łączyć rekordy przez obliczanie podobieństwa między ciągami znaków, a następnie wykorzystasz nowe umiejętności, by połączyć dwa zbiory recenzji restauracji w jeden, spójny zbiór danych.

Porównywanie ciągów znaków

Obliczanie odległości

Mała odległość, mała różnica

Poprawianie literówek za pomocą odległości między ciągami znaków

Generowanie i porównywanie par

Łączenie rekordów czy złączenie?

Blokowanie par

Porównywanie par

Punktacja i łączenie

Najpierw ocenianie czy wybieranie?

Łącząc wszystko w całość

Gratulacje!

Łączenie rekordów

Bike Sharing

Fodor's

Zagat

SFO Satisfaction Survey

Customer Accounts

<h2>Pokonaj typowe problemy z danymi – między innymi usuwanie duplikatów w R</h2>
Mówi się, że analitycy danych spędzają 80% czasu na czyszczeniu i przekształcaniu danych, a tylko 20% na ich analizie. Czas poświęcony na czyszczenie jest jednak kluczowy – analiza brudnych danych może prowadzić do błędnych wniosków.
<br><br>
W tym kursie poznasz różne techniki czyszczenia danych w R. Zaczniesz od konwersji typów danych, stosowania ograniczeń zakresu i usuwania pełnych oraz częściowych duplikatów, aby uniknąć podwójnego liczenia.
<br><br>
<h2>Zmierz się z zaawansowanymi problemami z danymi</h2>
Po opanowaniu typowych zagadnień przejdziesz do bardziej zaawansowanych wyzwań – takich jak zapewnienie spójności jednostek miary i obsługa brakujących danych. Po każdym nowym zagadnieniu będziesz mieć okazję wykonać ćwiczenie praktyczne, które utrwali zdobytą wiedzę i poszerzy twoje doświadczenie.
<br><br>
<h2>Naucz się stosować łączenie rekordów podczas czyszczenia danych</h2>
Łączenie rekordów to technika służąca do scalania zbiorów danych, gdy wartości zawierają błędy, takie jak literówki lub różne warianty pisowni. W ostatnim rozdziale poznasz tę przydatną metodę i przećwiczysz jej zastosowanie, łącząc dwa zbiory recenzji restauracji w jeden spójny zbiór danych.

<h2>Pokonaj typowe problemy z danymi, takie jak usuwanie duplikatów w R </h2>
Powszechnie mówi się, że data scientist spędzają 80% swojego czasu na czyszczeniu i przekształcaniu danych, a tylko 20% na ich analizie. Czas poświęcony na czyszczenie danych jest kluczowy, ponieważ analiza nieczystych danych może prowadzić do wyciągania nieprawidłowych wniosków.
<br><br>
W tym kursie nauczysz się różnych technik, które pomogą Ci czyścić nieczyste dane za pomocą R. Zaczniesz od konwertowania typów danych, stosowania ograniczeń zakresu i radzenia sobie z pełnymi oraz częściowymi duplikatami, aby uniknąć podwójnego liczenia.
<br><br>
<h2>Zanurz się w zaawansowane wyzwania związane z danymi </h2>
Gdy już poćwiczysz pracę nad typowymi problemami z danymi, przejdziesz do bardziej zaawansowanych wyzwań, takich jak zapewnianie spójności pomiarów i radzenie sobie z brakującymi danymi. Po każdym nowym zagadnieniu będziesz mieć okazję wykonać praktyczne ćwiczenie, aby utrwalić wiedzę i zdobyć doświadczenie.
<br><br>
<h2>Naucz się wykorzystywać record linkage podczas czyszczenia danych </h2>
Łączenie rekordów służy do scalania zbiorów danych, gdy wartości zawierają problemy, takie jak literówki lub różne pisownie. W ostatnim rozdziale poznasz tę przydatną technikę i przećwiczysz jej zastosowanie, łącząc dwa zbiory danych z recenzjami restauracji w jeden zbiór danych.

Joining Data with dplyr

Ucz się szybko i dokładnie czyścić dane, by przekształcać je w wartościowe informacje dla firmy.

Czyszczenie danych w R

Naucz się czyścić dane jak najszybciej i najdokładniej, by przejść od surowych danych do świetnych wniosków.

Młodszy Data Scientist w R

Importowanie i czyszczenie danych  w R

Ankiety zostały losowo zagubione podczas wysyłki pocztą.

Wyniki testów są niedostępne dla uczniów z określonego okręgu szkolnego, ale nie dla pozostałych.

Młodsze osoby rzadziej mierzyły ciśnienie krwi u lekarza, dlatego w ich dokumentacji medycznej brakuje tych danych.

Waga ma limit 30 funtów, więc przesyłki powyżej tej wartości nie mają zarejestrowanej masy.

Próbki krwi badane podczas nocnej zmiany były bardziej narażone na skażenie, co powodowało braki w wynikach – jednak pora badania nie była rejestrowana.

Rodzaje braków danych

Czyszczenie danych w R

Interaktywne ćwiczenie praktyczne