V této kapitole se naučíš, jak řešit nejčastější problémy s nekvalitními daty. Budeš převádět datové typy, aplikovat omezení rozsahu pro odstranění budoucích datových bodů a odstraňovat duplicitní záznamy, aby nedocházelo k dvojímu počítání.

Omezení datových typů

Běžné datové typy

Číselná data, nebo ... ?

Sčítání řetězců a zřetězení čísel

Omezení rozsahu dat

Omezení velikosti pneumatik

Zpátky do budoucnosti

Omezení jedinečnosti

Jak velká je tvoje podmnožina?

Hledání duplicit

Ošetření duplicit

Časté problémy s daty

Kategorická a textová data bývají kvůli své nestrukturované povaze jedněmi z nejproblematičtějších částí datové sady. V této kapitole se naučíš, jak opravit nekonzistentní mezery a velikost písmen v popiscích kategorií, sloučit více kategorií do jedné a sjednotit formát řetězců.

Omezení členství

Možnosti

Omezení příslušnosti

Jiné omezení

Jen pro členy

Hledání nekonzistencí

Kategorické proměnné

Bílé znaky a nekonzistentnost

Vytváření nebo přemapování kategorií

Kategorie chyb

Nekonzistentní kategorie

Přemapování kategorií

Čištění textových dat

Odstranění titulů a práce se jmény

Dostatečně popisné odpovědi

Problémy s textovými a kategorickými daty

V této kapitole se ponoříš do pokročilejších problémů s čištěním dat – například zajistíš, aby byly váhy všude uváděny v kilogramech místo librách. Získáš také cenné dovednosti, které ti pomohou ověřit správnost zadaných hodnot a zajistit, aby chybějící hodnoty negativně neovlivňovaly tvoje analýzy.

Jednotnost

Nejednoznačná data

Jednotná měna

Jednotné formáty dat

Křížová validace polí

Křížová validace polí, nebo ne?

Jak je na tom integrita našich dat?

Úplnost dat

Chybí náhodně?

Chybějící investoři

Sleduj peníze

Pokročilé problémy s daty

Propojování záznamů je výkonná technika sloužící ke slučování více datových sad dohromady – hodí se tehdy, když hodnoty obsahují překlepy nebo různé varianty pravopisu. V této kapitole se naučíš propojovat záznamy výpočtem podobnosti řetězců a své nové dovednosti využiješ ke spojení dvou datových sad s recenzemi restaurací do jedné čisté hlavní datové sady.

Porovnávání řetězců

Minimální editační vzdálenost

Hraniční hodnota podobnosti

Přemapování kategorií II

Generování párů

Propojovat, nebo nepropojovat?

Páry restaurací

Podobné restaurace

Propojování DataFrames

Správný index

Propojení dat!

Gratulujeme!

Propojování záznamů

Airlines dataset

Course Glossary

Restaurants dataset II

Restaurants dataset

Ride sharing dataset

Banking dataset

Říká se, že datoví vědci tráví 80 % času čištěním a zpracováním dat a jen 20 % jejich samotnou analýzou. Čas věnovaný čištění je přitom klíčový – analýza nekvalitních dat může vést k nepřesným závěrům.

Videa obsahují živé přepisy, které zobrazíš kliknutím na „Zobrazit přepis" v levém dolním rohu videa.
Glosář kurzu najdeš vpravo v sekci zdrojů.
Aby sis získal/a kredity CPE, musíš kurz dokončit a dosáhnout skóre alespoň 70 % v závěrečném hodnocení. Na hodnocení se dostaneš kliknutím na upozornění CPE credits vpravo.

Čištění dat je v datové vědě nezbytný úkol. Bez správně vyčištěných dat mohou být výsledky jakékoli analýzy nebo modelu strojového učení nepřesné. V tomto kurzu se naučíš, jak rozpoznat, diagnostikovat a řešit různé problémy s kvalitou dat v Pythonu – od těch jednoduchých až po pokročilé. Budeš pracovat s nesprávnými datovými typy, ověřovat, zda jsou data ve správném rozsahu, zpracovávat chybějící hodnoty, provádět propojování záznamů a mnoho dalšího!

<h2>Objevte, jak čistit data v Pythonu</h2>
Běžně se říká, že datoví vědci tráví 80 % svého času čištěním a úpravou dat a jen 20 % času jejich analýzou. Čištění dat je nezbytným krokem pro každého datového vědce, protože analýza nekvalitních dat může vést k nepřesným závěrům. 
<br><br>
V tomto kurzu se naučíte, jak v Pythonu identifikovat, diagnostikovat a řešit různé problémy s čištěním dat, od jednoduchých až po pokročilé. Budete pracovat s nesprávnými datovými typy, kontrolovat, zda jsou vaše data ve správném rozsahu, zpracovávat chybějící data, provádět párování záznamů a další!
<br><br>
<h2>Naučte se, jak čistit různé typy dat</h2>
První kapitola kurzu zkoumá běžné problémy s daty a jak je můžete vyřešit. Nejprve pochopíte základní datové typy a naučíte se, jak s nimi pracovat jednotlivě. Poté použijete omezení rozsahu a odstraníte duplicitní datové body.
<br><br>
Poslední kapitola se věnuje propojování záznamů, mocnému nástroji pro sloučení více datových sad. Naučíte se, jak propojovat záznamy výpočtem podobnosti mezi řetězci. Nakonec své nové dovednosti využijete ke spojení dvou datových sad s recenzemi restaurací do jedné čisté hlavní datové sady.
<br><br>
<h2>Získejte jistotu v čištění dat</h2>
Na konci kurzu získáš jistotu při čištění dat různých typů a při použití propojení záznamů ke sloučení více datových sad. Čištění dat je základní dovednost pro datové vědce. Pokud se chcete dozvědět více o čištění dat v Pythonu a jeho využití, podívejte se na následující kurzy: Datový vědec s Pythonem a Importování a čištění dat pomocí Pythonu.

Python Toolbox

Joining Data with pandas

Ovládněte čištění dat v Pythonu v tomto čtyřhodinovém kurzu. Naučíte se řešit běžné problémy.

Čištění dat v Pythonu

Naučte se diagnostikovat a řešit špinavá data a získáte dovednosti k přeměně syrových dat na přesné poznatky! 

Asociovaný datový vědec  v Pythonu

Datový inženýr v Pythonu

Import dat a čištění dat  v Pythonu

Sloupec `day_of_week` s hodnotou `Suntermonday`.

Sloupec `birthdate` s hodnotami v budoucnosti.

Sloupec `age` s hodnotami vyššími než `130`.

Sloupec `revenue` reprezentovaný jako řetězec.

Jen pro členy

Čištění dat v Pythonu

Interaktivní praktické cvičení