In this chapter, we cover the reasons you need to apply new techniques when data sets are larger than available RAM.  We show that importing and exporting data using the base R functions can be slow and some easy ways to remedy this. Finally, we introduce the bigmemory package. 

What is Scalable Data Processing?

Why is your code slow?

How does processing time vary by data size?

Working with "Out-of-Core" Objects using the Bigmemory Project

Reading a big.matrix object

Attaching a big.matrix object

Creating tables with big.matrix objects

Data summary using bigsummary

References vs. Copies

Copying matrices and big matrices

Working with increasingly large data sets

Now that you've got some experience using bigmemory, we're going to go through some simple data exploration and analysis techniques. In particular, we'll see how to create tables and implement the split-apply-combine approach.

The Bigmemory Suite of Packages

Tabulating using bigtable

Borrower Race and Ethnicity by Year (I)

Split-Apply-Combine

Female Proportion Borrowing

Split

Apply

Combine

Visualize your results using the tidyverse

Visualizing Female Proportion Borrowing

The Borrower Income Ratio

Tidy Big Tables

Limitations of bigmemory

Where should you use bigmemory?

Processing and Analyzing Data with bigmemory

We'll use the iotools package that can process both numeric and string data, and introduce the concept of chunk-wise processing.


Introduction to chunk-wise processing

Can you split-compute-combine it?

Foldable operations (I)

Foldable operations (II)

A first look at iotools: Importing data

Compare read.delim() and read.delim.raw()

Reading raw data and turning it into a data structure

chunk.apply

Reading chunks in as a matrix

Reading chunks in as a data.frame

Parallelizing calls to chunk.apply

Working with iotools

In the previous chapters, we've introduced the housing data and shown how to compute with data that is about as big, or bigger than, the amount of RAM on a single machine. In this chapter, we'll go through a preliminary analysis of the data, comparing various trends over time.

Overzicht van soorten analyses in dit hoofdstuk

Ras- en etnische vertegenwoordiging in de hypotheekgegevens

De verhouding van leners naar ras/etniciteit vergelijken

Ontbreken de gegevens willekeurig?

Zoeken naar voorspelbare ontbrekende waarden

Nog iets meer over ontbrekende waarden

De woningdata analyseren

Ras en etniciteit van leners per jaar (II)

De aangepaste demografische trends visualiseren

Relatieve verandering in demografische trend

Leentrends van leners: stad vs. platteland

Regio van lener per jaar

Wie verstrekt federaal gegarandeerde leningen?

Gefeliciteerd!

Case Study: A Preliminary Analysis of the Housing Data

Mortgage data (sample)

Gegevenssets zijn vaak groter dan het beschikbare RAM-geheugen, wat problemen veroorzaakt voor R-programmeurs omdat standaard alle variabelen in het geheugen worden opgeslagen. Je leert tools om gegevens rechtstreeks vanaf schijf te verwerken, verkennen en analyseren. Je past ook de split-apply-combine-methode toe en leert hoe je schaalbare code schrijft met de pakketten bigmemory en iotools. In deze cursus maak je gebruik van de data van de Federal Housing Finance Agency, een openbaar beschikbare gegevensset met alle hypotheken die tussen 2009 en 2015 werden aangehouden of gesecuritiseerd door zowel de Federal National Mortgage Association (Fannie Mae) als de Federal Home Loan Mortgage Corporation (Freddie Mac).

Writing Efficient R Code

Leer schaalbare code schrijven voor big data in R met de bigmemory- en iotools-pakketten.

Schaalbare gegevensverwerking in R

Leer hoe je schaalbare code kunt schrijven voor het werken met big data in R met behulp van de pakketten bigmemory en iotools.

Big Data in R

Assistant Professor, Yale University

Review and Preliminary Mortgage Analysis

Overview of the chapter

United States Census Bureau Race and Ethnic Proportions

Proportional Borrowing

Let's practice!

Case Study: A Preliminary Analysis of the Housing Data - Overzicht van soorten analyses in dit hoofdstuk

Overzicht van soorten analyses in dit hoofdstuk

Create Your Free Account