W tym rozdziale nauczysz się radzić sobie z najczęstszymi problemami związanymi z brudnymi danymi. Będziesz konwertować typy danych, stosować ograniczenia zakresu, aby usuwać przyszłe punkty danych, oraz eliminować zduplikowane rekordy, żeby uniknąć podwójnego liczenia.

Ograniczenia typów danych

Typowe typy danych

Dane liczbowe czy… nie?

Sumowanie łańcuchów i konkatenacja liczb

Ograniczenia zakresu danych

Ograniczenia rozmiarów opon

Powrót do przyszłości

Ograniczenia unikalności

Jak duży jest twój podzbiór?

Wyszukiwanie duplikatów

Usuwanie duplikatów

Typowe problemy z danymi

Dane kategoryczne i tekstowe bywają jednymi z najbardziej nieuporządkowanych elementów zbioru danych ze względu na swój nieustrukturyzowany charakter. W tym rozdziale nauczysz się poprawiać niespójności związane z białymi znakami i wielkością liter w etykietach kategorii, łączyć wiele kategorii w jedną oraz ujednolicać format ciągów znaków.

Ograniczenia przynależności

Opcje

Ograniczenie przynależności

Inne ograniczenie

Tylko dla członków

Znajdowanie niespójności

Zmienne kategoryczne

Białe znaki i niespójności

Tworzenie lub remapowanie kategorii

Kategorie błędów

Niespójne kategorie

Przemapowanie kategorii

Czyszczenie danych tekstowych

Usuwanie tytułów i wyodrębnianie imion

Szczegółowe odpowiedzi

Problemy z danymi tekstowymi i kategorycznymi

W tym rozdziale zajmiesz się bardziej zaawansowanymi problemami z czyszczeniem danych – na przykład sprawdzeniem, czy wszystkie wagi są podane w kilogramach zamiast w funtach. Zdobędziesz też cenne umiejętności, które pomogą ci weryfikować poprawność dodanych wartości oraz dbać o to, by brakujące dane nie wpływały negatywnie na twoje analizy.

Jednolitość

Niejednoznaczne daty

Ujednolicenie walut

Ujednolicenie dat

Walidacja między polami

Walidacja krzyżowa czy nie?

Jak wygląda integralność danych?

Kompletność

Czy to brakuje losowo?

Brakujący inwestorzy

Śledź pieniądze

Zaawansowane problemy z danymi

Łączenie rekordów to skuteczna technika służąca do scalania wielu zbiorów danych, przydatna zwłaszcza gdy wartości zawierają literówki lub różne warianty zapisu. W tym rozdziale nauczysz się łączyć rekordy, obliczając podobieństwo między ciągami znaków, a następnie wykorzystasz nowe umiejętności, aby połączyć dwa zbiory recenzji restauracji w jeden, uporządkowany zbiór danych.

Porównywanie ciągów znaków

Minimalna odległość edycyjna

Punkt odcięcia

Ponowne mapowanie kategorii II

Generowanie par

Łączyć czy nie łączyć?

Pary restauracji

Podobne restauracje

Łączenie ramek danych

Pobieranie właściwego indeksu

Łączymy wszystko w całość!

Gratulacje!

Łączenie rekordów

Airlines dataset

Course Glossary

Restaurants dataset II

Restaurants dataset

Ride sharing dataset

Banking dataset

Mówi się, że data scientist spędza 80% czasu na czyszczeniu i przetwarzaniu danych, a tylko 20% na ich analizie. Czas poświęcony na czyszczenie jest niezbędny – analiza brudnych danych może prowadzić do błędnych wniosków.

Filmy zawierają transkrypcje na żywo, które możesz wyświetlić, klikając „Pokaż transkrypcję" w lewym dolnym rogu.
Glosariusz kursu znajdziesz po prawej stronie, w sekcji zasobów.
Aby uzyskać punkty CPE, musisz ukończyć kurs i zdobyć co najmniej 70% punktów w ocenie kwalifikacyjnej. Możesz przejść do oceny, klikając informację o punktach CPE po prawej stronie.

Czyszczenie danych to kluczowe zadanie w data science. Bez odpowiednio oczyszczonych danych wyniki analizy lub modelu uczenia maszynowego mogą być błędne. W tym kursie nauczysz się wykrywać, diagnozować i rozwiązywać różnorodne problemy z jakością danych w Pythonie – od prostych po zaawansowane. Zajmiesz się nieprawidłowymi typami danych, sprawdzisz, czy dane mieszczą się w poprawnym zakresie, obsłużysz brakujące wartości, wykonasz łączenie rekordów i wiele więcej!

<h2>Odkryj, jak czyścić dane w Pythonie</h2>
Powszechnie mówi się, że data scientist spędzają 80% swojego czasu na czyszczeniu i przetwarzaniu danych, a tylko 20% na ich analizie. Czyszczenie danych to niezbędny etap pracy każdego data scientist, ponieważ analiza nieczystych danych może prowadzić do błędnych wniosków. 
<br><br>
W tym kursie nauczysz się, jak identyfikować, diagnozować i rozwiązywać różne problemy związane z czyszczeniem danych w Pythonie, od prostych po zaawansowane. Będziesz pracować z nieprawidłowymi typami danych, sprawdzać, czy dane mieszczą się w prawidłowym zakresie, obsługiwać brakujące dane, wykonywać łączenie rekordów i nie tylko!
<br><br>
<h2>Dowiedz się, jak czyścić różne typy danych</h2>
Pierwszy rozdział kursu omawia najczęstsze problemy z danymi i sposoby ich naprawy. Najpierw poznasz podstawowe typy danych i nauczysz się, jak pracować z każdym z nich osobno. Następnie zastosujesz ograniczenia zakresu i usuniesz zduplikowane punkty danych.
<br><br>
Ostatni rozdział omawia łączenie rekordów, potężne narzędzie do scalania wielu zbiorów danych. Nauczysz się, jak łączyć rekordy, obliczając podobieństwo między ciągami znaków. Na koniec wykorzystasz nowe umiejętności, aby połączyć dwa zbiory danych z recenzjami restauracji w jeden czysty główny zbiór danych.
<br><br>
<h2>Zdobądź pewność w czyszczeniu danych</h2>
Po ukończeniu kursu zyskasz pewność w czyszczeniu danych różnych typów oraz wykorzystaniu łączenia rekordów do scalania wielu zbiorów danych. Czyszczenie danych to podstawowa umiejętność dla data scientistów. Jeśli chcesz dowiedzieć się więcej o czyszczeniu danych w Pythonie i jego zastosowaniach, sprawdź poniższe ścieżki: Data Scientist z Pythonem oraz Importowanie i czyszczenie danych z Pythonem.

Python Toolbox

Joining Data with pandas

Opanuj czyszczenie danych w Pythonie w tym kursie. Naucz się rozwiązywać typowe problemy z danymi.

Czyszczenie danych w Pythonie

Naucz się diagnozować i naprawiać brudne dane oraz zdobyj umiejętności potrzebne do przekształcania surowych danych w trafne wnioski! 

Młodszy Data Scientist  w Pythonie

Inżynier danych w Pythonie

Importowanie i czyszczenie danych  w Pythonie

Kolumna `day_of_week` z wartością `Suntermonday`.

Kolumna `birthdate` z datami z przyszłości.

Kolumna `age` z wartościami powyżej `130`.

Kolumna `revenue` reprezentowana jako ciąg znaków.

Tylko dla członków

Czyszczenie danych w Pythonie

Interaktywne ćwiczenie praktyczne