本章將說明為何當資料集大於可用記憶體時，你需要採用新的技巧。我們會示範使用 base R 函式匯入與匯出資料可能很慢，以及一些簡單的改善方式。最後，我們會介紹 bigmemory 套件。

什麼是可擴充的資料處理？

為什麼你的程式碼很慢？

處理時間如何隨資料大小改變？

使用 Bigmemory 專案處理「Out-of-Core」物件

讀取 big.matrix 物件

附加 big.matrix 物件

使用 big.matrix 物件建立表格

使用 bigsummary 做資料摘要

參照與拷貝

複製矩陣與大型矩陣

處理日益龐大的資料集

既然你已經有使用 bigmemory 的經驗了，我們將帶你練習一些基本的資料探索與分析技巧。特別是，我們會示範如何建立表格，並實作 split-apply-combine 方法。

Bigmemory 套件家族

使用 bigtable 製作列聯表

依年份檢視借款人種族與族裔（I）

Split-Apply-Combine 方法

女性借款比例

Split

Apply

Combine

使用 tidyverse 視覺化結果

視覺化女性借款比例

Borrower Income Ratio（借款人收入比）

Tidy 大型表格

bigmemory 的限制

什麼情況下該使用 bigmemory？

使用 bigmemory 進行資料處理與分析

我們將使用 iotools 套件來處理數值與字串資料，並介紹分塊（chunk-wise）處理的概念。


分塊處理入門

你能用 split-compute-combine 解嗎？

可折疊運算（I）

可折疊運算（II）

初探 iotools：匯入資料

比較 read.delim() 與 read.delim.raw()

讀取 raw 資料並轉成資料結構

chunk.apply

將分塊讀入為矩陣

將區塊讀入為 data.frame

平行化呼叫 chunk.apply

使用 iotools

在前幾章中，我們介紹了房市資料，並展示如何在單一機器的記憶體容量相當或更大的情況下進行計算。本章將針對資料做一份初步分析，比較不同面向的時間趨勢。

本章分析類型總覽

房貸資料中的種族與族裔代表性

比較借款人的種族／族裔及其比例

資料是否是隨機遺漏？

尋找可預測的遺漏情形

再多談一點遺漏值

分析房貸資料

借款者的種族與族裔（依年份）（II）

視覺化經調整的人口趨勢

族群趨勢的相對變化

借款人放貸趨勢：城市 vs. 鄉村

依年份統計借款人地區

誰在取得聯邦擔保貸款？

恭喜！

個案研究：房市資料的初步分析

Mortgage data (sample)

資料集常常比可用的記憶體還大。這對 R 程式設計師來說是個問題，因為預設情況下所有變數都存放在記憶體中。你將學到直接從磁碟處理、探索與分析資料的工具。你也會實作 split-apply-combine 方法，並學習如何使用 bigmemory 與 iotools 套件撰寫可擴展的程式碼。在本課程中，你會使用 Federal Housing Finance Agency 的資料，這是公開的資料集，記載了 2009–2015 年間由 Federal National Mortgage Association（Fannie Mae）與 Federal Home Loan Mortgage Corporation（Freddie Mac）持有或證券化的所有房貸。

Writing Efficient R Code

學習使用bigmemory和iotools套件在R中撰寫可擴展的大數據處理代碼。

R 的可擴展資料處理

大數據 在 R 中

Assistant Professor, Yale University

The Bigmemory 專案

bigmemory

big.matrix

「out-of-core」是什麼意思？

何時使用 big.matrix？

bigmemory 概觀

bigmemory 範例

backing 與 descriptor 檔

與一般矩陣的相似處

一起來練習吧！

處理日益龐大的資料集 - 使用 Bigmemory 專案處理「Out-of-Core」物件

使用 Bigmemory 專案處理「Out-of-Core」物件

Create Your Free Account