Memparalelkan pemanggilan chunk.apply

Fungsi chunk.apply() juga dapat memanfaatkan proses paralel untuk memproses data lebih cepat. Ketika parameter CH.PARALLEL disetel ke nilai lebih besar dari satu pada mesin Linux dan Unix (termasuk Mac), beberapa proses akan membaca dan memproses data secara bersamaan sehingga mengurangi waktu eksekusi. Pada Windows, parameter CH.PARALLEL diabaikan.

Latihan ini merupakan bagian dari kursus

Pemrosesan Data yang Dapat Diskalakan di R

Lihat Kursus

Instruksi latihan

Uji kinerja fungsi iotools_read_fun(), pertama dengan 1 proses dan kemudian dengan 3 proses paralel.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

iotools_read_fun <- function(parallel) {
    fc <- file("mortgage-sample.csv", "rb")
    readLines(fc, n = 1)
    chunk.apply(fc, make_msa_table,
                CH.MAX.SIZE = 1e5, CH.PARALLEL = parallel)
    close(fc)
}

# Benchmark the new function
microbenchmark(
    # Use one process
    ___, 
    # Use three processes
    ___, 
    times = 20
)

Edit dan Jalankan Kode