V této kapitole si vysvětlíme, proč je potřeba používat nové techniky, když jsou datové sady větší než dostupná RAM. Ukážeme si, že import a export dat pomocí základních funkcí R může být pomalý, a podíváme se na jednoduché způsoby, jak to napravit. Na závěr tě seznámíme s balíčkem bigmemory.

Co je škálovatelné zpracování dat?

Proč je tvůj kód pomalý?

Jak se doba zpracování mění v závislosti na velikosti dat?

Práce s objekty „out-of-core" pomocí projektu Bigmemory

Načtení objektu big.matrix

Připojení objektu big.matrix

Vytváření tabulek s objekty big.matrix

Přehled dat pomocí bigsummary

Reference vs. kopie

Kopírování matic a velkých matic

Práce s čím dál většími datovými sadami

Teď, když máš s bigmemory první zkušenosti, projdeme si jednoduché techniky prozkoumávání a analýzy dat. Zaměříme se zejména na to, jak vytvářet tabulky a jak implementovat přístup rozdělení-aplikace-sloučení.

Sada balíčků Bigmemory

Vytváření tabulek pomocí bigtable

Rasa a etnicita dlužníků podle roku (I)

Split-Apply-Combine

Podíl žen mezi dlužníky

Rozdělení dat

Aplikace funkce

Kombinování výsledků

Vizualizuj výsledky pomocí tidyverse

Vizualizace podílu žen mezi dlužníky

Poměr příjmu dlužníka

Úprava velkých tabulek

Omezení bigmemory

Kdy se hodí bigmemory?

Zpracování a analýza dat s bigmemory

Použijeme balíček iotools, který dokáže zpracovávat jak číselná, tak textová data, a představíme si koncept zpracování po blocích.


Úvod do zpracování po částech

Dá se to rozdělit, spočítat a zkombinovat?

Foldable operace (I)

Skládatelné operace (II)

První pohled na iotools: import dat

Porovnání read.delim() a read.delim.raw()

Načítání raw dat a jejich převod do datové struktury

chunk.apply

Načítání bloků dat jako matice

Načítání chunků jako data.frame

Paralelizace volání chunk.apply

Práce s iotools

V předchozích kapitolách jsme tě seznámili s daty o bydlení a ukázali jsme si, jak pracovat s daty, která jsou přibližně stejně velká jako dostupná RAM na jednom počítači, nebo ji dokonce přesahují. V této kapitole provedeme předběžnou analýzu dat a porovnáme různé trendy v čase.

Přehled typů analýzy pro tuto kapitolu

Zastoupení ras a etnik v hypotečních datech

Porovnání rasy/etnicity dlužníků a jejich podílů

Chybí data náhodně?

Hledáme předvídatelnost chybějících hodnot

Ještě trochu k chybějícím hodnotám

Analýza dat o bydlení

Rasa a etnická příslušnost dlužníků podle roku (II)

Vizualizace upravených demografických trendů

Relativní změna demografického trendu

Trendy půjček dlužníků: město vs. venkov

Region dlužníků podle roku

Kdo si bere federálně garantované půjčky?

Gratulujeme!

Případová studie: předběžná analýza dat o bydlení

Mortgage data (sample)

Datové sady jsou často větší, než je dostupná RAM – to způsobuje problémy programátorům v R, protože všechny proměnné jsou ve výchozím nastavení uloženy v paměti. Naučíš se nástroje pro zpracování, prozkoumávání a analýzu dat přímo z disku. Implementuješ také přístup rozdělení-aplikace-sloučení a zjistíš, jak psát škálovatelný kód pomocí balíčků bigmemory a iotools. V tomto kurzu využiješ data od Federal Housing Finance Agency – veřejně dostupný dataset, který zachycuje všechny hypotéky držené nebo sekuritizované asociacemi Federal National Mortgage Association (Fannie Mae) a Federal Home Loan Mortgage Corporation (Freddie Mac) v letech 2009–2015.

Writing Efficient R Code

Naučte se psát škálovatelný kód pro práci s velkými daty v R pomocí balíčků bigmemory a iotools.

Škálovatelné zpracování dat v R

Velká data v R

Assistant Professor, Yale University

Projekt Bigmemory

bigmemory

big.matrix

Co znamená „out-of-core"?

Kdy použít big.matrix?

Přehled balíčku bigmemory

Příklad použití bigmemory

Soubory backing a descriptor

Podobnosti s maticemi

Pojďme procvičovat!

Práce s čím dál většími datovými sadami - Práce s objekty „out-of-core" pomocí projektu Bigmemory

Práce s objekty „out-of-core" pomocí projektu Bigmemory

Create Your Free Account