In questo capitolo vedremo perché è necessario applicare nuove tecniche quando gli insiemi di dati sono più grandi della RAM disponibile. Mostreremo che importare ed esportare dati con le funzioni base di R può essere lento e alcune semplici modalità per rimediare. Infine, introdurremo il pacchetto bigmemory. 

Che cos'è l'elaborazione dati scalabile?

Perché il tuo codice è lento?

Come varia il tempo di elaborazione al variare della dimensione dei dati?

Lavorare con oggetti "out-of-core" usando il progetto bigmemory

Lettura di un oggetto big.matrix

Agganciare un oggetto big.matrix

Creare tabelle con oggetti big.matrix

Riepilogo dei dati con bigsummary

Riferimenti vs copie

Copiare matrici e big matrix

Lavorare con insiemi di dati sempre più grandi

Ora che hai un po’ di esperienza con bigmemory, passeremo in rassegna semplici tecniche di esplorazione e analisi dei dati. In particolare, vedremo come creare tabelle e applicare l’approccio split-apply-combine.

La suite di pacchetti Bigmemory

Tabulazione con bigtable

Razza ed etnia del mutuatario per anno (I)

Split-Apply-Combine

Proporzione di donne che prendono a prestito

Suddividi

Apply

Combina

Visualizza i risultati con il tidyverse

Visualizzare la quota di prestiti alle donne

Il rapporto di reddito del mutuatario

Grandi tabelle in formato tidy

Limiti di bigmemory

Dove dovresti usare bigmemory?

Elaborazione e analisi dei dati con bigmemory

Useremo il pacchetto iotools, che può elaborare sia dati numerici sia stringhe, e introdurremo il concetto di elaborazione per blocchi (chunk-wise).


Introduzione all'elaborazione per blocchi

Sai applicare split-compute-combine?

Operazioni foldable (I)

Operazioni pieghevoli (II)

Primo sguardo a iotools: Importare dati

Confronta read.delim() e read.delim.raw()

Lettura di dati raw e conversione in una struttura dati

chunk.apply

Lettura di chunk come matrice

Lettura di chunk come data.frame

Parallelizzare le chiamate a chunk.apply

Lavorare con iotools

Nei capitoli precedenti abbiamo introdotto i dati immobiliari e mostrato come calcolare con dati grandi quanto, o più grandi, della quantità di RAM su una singola macchina. In questo capitolo, effettueremo un’analisi preliminare dei dati, confrontando varie tendenze nel tempo.

Panoramica dei tipi di analisi per questo capitolo

Rappresentanza razziale ed etnica nei dati sui mutui

Confronto tra razza/etnia dei mutuatari e relative proporzioni

I dati mancano in modo casuale?

Alla ricerca di dati mancanti prevedibili

Qualcosa in più sui dati mancanti

Analizzare i dati sul mercato immobiliare

Razza ed etnia dei mutuatari per anno (II)

Visualizzare le tendenze demografiche corrette

Variazione relativa nella tendenza demografica

Tendenze dei prestiti ai mutuatari: città vs aree rurali

Regione del mutuatario per anno

Chi sta garantendo i prestiti federali?

Congratulazioni!

Caso di studio: analisi preliminare dei dati immobiliari

Mortgage data (sample)

Gli insiemi di dati sono spesso più grandi della RAM disponibile, il che crea problemi a chi programma in R, dato che per impostazione predefinita tutte le variabili vengono memorizzate in memoria. Imparerai strumenti per elaborare, esplorare e analizzare i dati direttamente dal disco. Metterai inoltre in pratica l’approccio split-apply-combine e imparerai a scrivere codice scalabile usando i pacchetti bigmemory e iotools. In questo corso userai i dati della Federal Housing Finance Agency, un insieme di dati pubblico che documenta tutti i mutui detenuti o cartolarizzati sia da Federal National Mortgage Association (Fannie Mae) sia da Federal Home Loan Mortgage Corporation (Freddie Mac) dal 2009 al 2015.

Writing Efficient R Code

Impara a scrivere codice scalabile per big data in R con i pacchetti bigmemory e iotools.

Elaborazione scalabile dei dati in R

Impara a scrivere codice scalabile per lavorare con i big data in R usando i pacchetti bigmemory e iotools.

Riferimenti vs copie

Create Your Free Account