I det här kapitlet går vi igenom varför du behöver nya tekniker när datamängder är större än tillgängligt RAM-minne. Vi visar att import och export av data med R:s inbyggda funktioner kan vara långsamt, och presenterar enkla sätt att förbättra detta. Slutligen introducerar vi paketet bigmemory.

Vad är skalbar databehandling?

Varför är din kod långsam?

Hur varierar bearbetningstiden med datamängdens storlek?

Arbeta med "Out-of-Core"-objekt med Bigmemory-projektet

Läsa in ett big.matrix-objekt

Ansluta ett big.matrix-objekt

Skapa tabeller med big.matrix-objekt

Datasammanfattning med bigsummary

Referenser vs. kopior

Kopiera matriser och big matrices

Att arbeta med allt större datamängder

Nu när du har lite erfarenhet av bigmemory går vi igenom några enkla tekniker för datautforskning och analys. Vi ser bland annat hur man skapar tabeller och implementerar split-apply-combine-metoden.

Bigmemory-paketen

Skapa tabeller med bigtable

Låntagarens ras och etnicitet per år (I)

Dela upp – tillämpa – kombinera

Andel kvinnliga låntagare

Dela upp

Applicera

Kombinera

Visualisera dina resultat med tidyverse

Visualisera andelen kvinnliga låntagare

Låntagarnas inkomstkvot

Städa stora tabeller

Begränsningar med bigmemory

När bör du använda bigmemory?

Bearbeta och analysera data med bigmemory

Vi använder paketet iotools, som kan hantera både numerisk och textbaserad data, och introducerar konceptet segmentvis bearbetning.


Introduktion till chunk-wise-bearbetning

Går det att dela upp, beräkna och kombinera?

Foldable-operationer (I)

Vikbara operationer (II)

En första titt på iotools: Importera data

Jämför read.delim() och read.delim.raw()

Läsa rådata och omvandla dem till en datastruktur

chunk.apply

Läsa in bitar som en matris

Läsa in segment som en data.frame

Parallellisering av anrop till chunk.apply

Att arbeta med iotools

I de tidigare kapitlen introducerade vi bostadsdata och visade hur man beräknar med data som är ungefär lika stora som, eller större än, RAM-minnet på en enskild dator. I det här kapitlet gör vi en preliminär analys av data och jämför olika trender över tid.

Översikt över analystyper för det här kapitlet

Ras- och etnisk representation i bolånedata

Jämföra låntagarnas ras/etnicitet och deras andelar

Saknas data slumpmässigt?

Söker efter förutsägbar saknad data

Lite mer om saknade värden

Analys av bostadsdata

Låntagarnas ras och etnicitet per år (II)

Visualisering av justerade demografiska trender

Relativ förändring i demografisk trend

Låntagartrender: Stad vs. Landsbygd

Låntagarregion per år

Vem säkrar federalt garanterade lån?

Grattis!

Fallstudie: En preliminär analys av bostadsdata

Mortgage data (sample)

Datamängder är ofta större än tillgängligt RAM-minne, vilket skapar problem för R-programmerare eftersom alla variabler som standard lagras i minnet. Du lär dig verktyg för att bearbeta, utforska och analysera data direkt från disk. Du implementerar också split-apply-combine-metoden och lär dig skriva skalbar kod med paketen bigmemory och iotools. I den här kursen använder du data från Federal Housing Finance Agency – en offentligt tillgänglig datamängd som dokumenterar alla bolån som innehades eller värdepapperiserades av Federal National Mortgage Association (Fannie Mae) och Federal Home Loan Mortgage Corporation (Freddie Mac) under åren 2009–2015.

Writing Efficient R Code

Lär dig skriva skalbar kod för big data i R med paketen bigmemory och iotools.

Skalbar databehandling i R

Lär dig skriva skalbar kod för att arbeta med big data i R med paketen bigmemory och iotools.

Big Data i R

Går det att dela upp, beräkna och kombinera?

Skalbar databehandling i R

Interaktiv övning med praktiskt arbete