Načítání chunků jako data.frame

V předchozím příkladu jsme každý chunk načítali do zpracovací funkce jako matici pomocí mstrsplit(). To funguje dobře, pokud pracujeme s obdélníkovými daty, kde mají všechny prvky ve sloupci stejný typ. Pokud tomu tak není, může být výhodnější načíst data jako data.frame. Buď chunk načteš jako matici a pak ji převedeš na data.frame, nebo rovnou použiješ funkci dstrsplit().

Toto cvičení je součástí kurzu

Škálovatelné zpracování dat v R

Zobrazit kurz

Pokyny k cvičení

Ve funkci make_msa_table() načti každý chunk jako datový rámec.
Zavolej chunk.apply(), aby se data načítala po chuncích.
Celkové součty za každý sloupec získáš sečtením všech řádků.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Define the function to apply to each chunk
make_msa_table <- function(chunk) {
    # Read each chunk as a data frame
    x <- ___(chunk, col_types = rep("integer", length(col_names)), sep = ",")
    # Set the column names of the data frame that's been read
    colnames(x) <- col_names
    # Create new column, msa_pretty, with a string description of where the borrower lives
    x$msa_pretty <- msa_map[x$msa + 1]
    # Create a table from the msa_pretty column
    table(x$msa_pretty)
}

# Create a file connection to mortgage-sample.csv
fc <- file("mortgage-sample.csv", "rb")

# Read the first line to get rid of the header
readLines(fc, n = 1)

# Read the data in chunks
counts <- ___(fc, ___, CH.MAX.SIZE = 1e5)

# Close the file connection
close(fc)

# Aggregate the counts as before
___

Upravit a spustit kód