Wczytywanie fragmentów jako data.frame
W poprzednim przykładzie każdy fragment był wczytywany do funkcji przetwarzającej jako macierz za pomocą mstrsplit(). To podejście sprawdza się, gdy dane mają prostokątną strukturę i każda kolumna zawiera elementy tego samego typu. Jeśli typy są różne, warto wczytać dane jako data.frame. Można to zrobić, konwertując macierz na ramkę danych – albo od razu użyć funkcji dstrsplit().
To ćwiczenie jest częścią kursu
Skalowalne przetwarzanie danych w R
Instrukcje do ćwiczenia
- W funkcji
make_msa_table()wczytaj każdy fragment jako ramkę danych. - Wywołaj
chunk.apply(), aby wczytać dane porcjami. - Oblicz łączne sumy dla każdej kolumny, sumując wszystkie wiersze.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Define the function to apply to each chunk
make_msa_table <- function(chunk) {
# Read each chunk as a data frame
x <- ___(chunk, col_types = rep("integer", length(col_names)), sep = ",")
# Set the column names of the data frame that's been read
colnames(x) <- col_names
# Create new column, msa_pretty, with a string description of where the borrower lives
x$msa_pretty <- msa_map[x$msa + 1]
# Create a table from the msa_pretty column
table(x$msa_pretty)
}
# Create a file connection to mortgage-sample.csv
fc <- file("mortgage-sample.csv", "rb")
# Read the first line to get rid of the header
readLines(fc, n = 1)
# Read the data in chunks
counts <- ___(fc, ___, CH.MAX.SIZE = 1e5)
# Close the file connection
close(fc)
# Aggregate the counts as before
___