Yinele ve filtrele
Bir veri danışmanı olarak, verileri her türlü biçimde ve yapıda alırsın. Bir müşteri, dünya çapındaki yükseköğretim kurumlarına ilişkin verileri içeren 40 gigabaytlık bir CSV dosyası gönderdi.
Genç analistler, bellek yetersizliği nedeniyle verileri doğru şekilde ayrıştıramıyor ve tüm veri kümesini işlemek için gereken hesaplama kaynakları için bütçe yok. Mevcut çalışmanda yalnızca Avustralya'daki kurumların analizi gerekiyor. CSV'nin dosya yolu filepath değişkeninde zaten kayıtlı. Bu veriler için verimli bir okuyucu uygulaman isteniyor. parallel, doParallel, foreach ve iterators paketleri senin için yüklendi.
Bu egzersiz, kursun bir parçasıdır
R'da Paralel Programlama
Egzersiz talimatları
filepathkonumundan satırları okumak için bir yineleyici kullan.- Sonuçları uygun bir fonksiyonla birleştirerek bir veri çerçevesi oluştur.
- Paralel operatörü belirt.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
cl <- makeCluster(4)
registerDoParallel(cl)
# Use an iterator to read lines
foreach(l = ___,
# Combine the lines as rows
___ = ___
# Use the parallel operator
) ___ {
line <- strsplit(l, ",")[[1]]
if (line[4] == "Australia") {
return(line)
}
}
stopCluster(cl)