Bu bölümde, veri kümeleri mevcut RAM'den büyük olduğunda neden yeni teknikler uygulaman gerektiğini ele alıyoruz. Taban R fonksiyonlarıyla veri içe ve dışa aktarmanın yavaş olabileceğini ve bunu kolayca iyileştirmenin bazı yollarını gösteriyoruz. Son olarak, bigmemory paketini tanıtıyoruz. 

Ölçeklenebilir Veri İşleme nedir?

Kodun neden yavaş?

İşleme süresi veri boyutuna göre nasıl değişir?

Bigmemory Projesini kullanarak "çekirdek dışı" nesnelerle çalışma

big.matrix nesnesi okuma

big.matrix nesnesini iliştirme

big.matrix nesneleriyle tablolar oluşturma

bigsummary ile veri özeti

Referanslar ve Kopyalar

Matrisleri ve büyük matrisleri kopyalama

Giderek büyüyen veri kümeleriyle çalışmak

Artık bigmemory kullanma konusunda biraz deneyim kazandığına göre, bazı basit veri keşfi ve analiz tekniklerini ele alacağız. Özellikle, nasıl tablo oluşturulacağını ve split-apply-combine yaklaşımının nasıl uygulanacağını göreceğiz.

Bigmemory Paketleri Paketi

bigtable ile tablo oluşturma

Yıla Göre Borçlu Irkı ve Etnisitesi (I)

Böl-Uygula-Birleştir

Kadın Borçluların Oranı

Böl (Split)

Uygula

Birleştir

Sonuçlarını tidyverse ile görselleştir

Kadın Oranının Borçlanma Görselleştirmesi

Borçlu Gelir Oranı

Tidy Büyük Tablolar

bigmemory'nin Sınırlamaları

bigmemory'yi nerede kullanmalısın?

bigmemory ile Verileri İşleme ve Analiz Etme

Hem sayısal hem de karakter verilerini işleyebilen iotools paketini kullanacağız ve parça bazlı (chunk-wise) işlemenin kavramını tanıtacağız.


Parça bazlı işlemeye giriş

Bunu split-compute-combine ile yapabilir misin?

Katlanabilir işlemler (I)

Katlanabilir işlemler (II)

iotools'a ilk bakış: Veri içe aktarma

read.delim() ve read.delim.raw() karşılaştırması

Ham veriyi okuyup bir veri yapısına dönüştürme

chunk.apply

Parçaları bir matris olarak okumak

Parçaları bir data.frame olarak okumak

chunk.apply çağrılarını paralelleştirme

iotools ile çalışmak

Önceki bölümlerde, konut verilerini tanıttık ve tek bir makinedeki RAM kadar büyük ya da daha büyük verilerle nasıl hesaplama yapılacağını gösterdik. Bu bölümde, zaman içindeki çeşitli eğilimleri karşılaştırarak verilerin ön analizini yapacağız.

Bu bölümde yapılacak analiz türlerine genel bakış

Konut Kredisi Verilerinde Irk ve Etnik Temsil

Borçlu Irk/Etnisite Gruplarını ve Oranlarını Karşılaştırma

Veriler rastgele mi eksik?

Öngörülebilir Eksiklik Arayışı

Eksiklik hakkında biraz daha

Konut Verilerini Analiz Etme

Yıllara Göre Borçlu Irk ve Etnisitesi (II)

Düzeltilmiş Demografik Eğilimlerin Görselleştirilmesi

Demografik trendde göreli değişim

Borçlu Kredi Eğilimleri: Şehir vs. Kırsal

Yıla Göre Borçlu Bölgesi

Federal teminatlı kredileri kim sağlıyor?

Tebrikler!

Vaka Çalışması: Konut Verilerinin Ön Analizi

Mortgage data (sample)

Veri kümeleri çoğu zaman mevcut RAM'den daha büyüktür; bu da R programcıları için sorun yaratır çünkü varsayılan olarak tüm değişkenler bellekte tutulur. Veriyi doğrudan diskten işlemenin, keşfetmenin ve analiz etmenin araçlarını öğreneceksin. Ayrıca split-apply-combine yaklaşımını uygulayacak ve bigmemory ile iotools paketlerini kullanarak ölçeklenebilir kod yazmayı öğreneceksin. Bu kursta, Federal Housing Finance Agency'nin verilerini kullanacaksın; bu, 2009-2015 arasında Federal National Mortgage Association (Fannie Mae) ile Federal Home Loan Mortgage Corporation (Freddie Mac) tarafından elde tutulan veya menkul kıymetleştirilen tüm ipotekleri derleyen, herkese açık bir veri kümesidir.

Writing Efficient R Code

R'de bigmemory ve iotools paketleriyle büyük veri için ölçeklenebilir kod yazmayı öğrenin.

R'de Ölçeklenebilir Veri İşleme

Büyük verilerle R'de çalışmak için bigmemory ve iotools paketlerini kullanarak ölçeklenebilir kod yazmayı öğrenin.

Böl-Uygula-Birleştir

Create Your Free Account