ComenzarEmpieza gratis

Inicio
Cursos
Procesamiento de datos escalable en R

Trabajar con objetos “out-of-core” usando el proyecto Bigmemory

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Este ejercicio forma parte del curso

Procesamiento de datos escalable en R

AvanzadoNivel de habilidad

4.7+

Comienza el curso gratis

En este capítulo, veremos por qué necesitas aplicar nuevas técnicas cuando los conjuntos de datos son más grandes que la RAM disponible. Mostramos que importar y exportar datos con las funciones base de R puede ser lento y algunas formas sencillas de solucionarlo. Por último, presentamos el paquete bigmemory.

Exercise 1: ¿Qué es el procesamiento de datos escalable?Exercise 2: ¿Por qué tu código es lento?Exercise 3: ¿Cómo varía el tiempo de procesamiento según el tamaño de los datos?Exercise 4: Trabajar con objetos “out-of-core” usando el proyecto Bigmemory

Ejercicio actual

Exercise 5: Lectura de un objeto big.matrix Exercise 6: Vincular un objeto big.matrix Exercise 7: Crear tablas con objetos big.matrix Exercise 8: Resumen de datos con bigsummary Exercise 9: Referencias vs. copias Exercise 10: Copiar matrices y big matrices

Ahora que ya tienes experiencia con bigmemory, veremos técnicas sencillas de exploración y análisis de datos. En particular, veremos cómo crear tablas e implementar el enfoque dividir-aplicar-combinar.

Exercise 1: La suite de paquetes Bigmemory Exercise 2: Tabulación con bigtable Exercise 3: Raza y etnia del prestatario por año (I)Exercise 4: Divide-aplica-combina Exercise 5: Proporción de prestatarias Exercise 6: Dividir Exercise 7: Apply Exercise 8: Combinar Exercise 9: Visualiza tus resultados con el tidyverse Exercise 10: Visualización de la proporción de mujeres prestatarias Exercise 11: La ratio de ingresos del prestatario Exercise 12: Tablas grandes ordenadas (tidy)Exercise 13: Limitaciones de bigmemory Exercise 14: ¿Dónde deberías usar bigmemory?

Usaremos el paquete iotools, que puede procesar datos numéricos y de texto, e introduciremos el concepto de procesamiento por bloques.

Exercise 1: Introducción al procesamiento por bloques Exercise 2: ¿Puedes aplicar dividir-calcular-combinar?Exercise 3: Operaciones plegables (I)Exercise 4: Operaciones plegables (II)Exercise 5: Primera toma de contacto con iotools: importación de datos Exercise 6: Compara read.delim() y read.delim.raw()Exercise 7: Leer datos raw y convertirlos en una estructura de datos Exercise 8: chunk.apply Exercise 9: Leer fragmentos como una matriz Exercise 10: Leer bloques como data.frame Exercise 11: Paralelizar llamadas a chunk.apply

En los capítulos anteriores, presentamos los datos de vivienda y mostramos cómo calcular con datos que son tan grandes como, o mayores que, la cantidad de RAM de una sola máquina. En este capítulo, realizaremos un análisis preliminar de los datos, comparando varias tendencias a lo largo del tiempo.

Exercise 1: Visión general de los tipos de análisis de este capítulo Exercise 2: Representación racial y étnica en los datos de hipotecas Exercise 3: Comparar la raza/etnia de los prestatarios y sus proporciones Exercise 4: ¿Faltan los datos al azar?Exercise 5: Buscando ausencias predecibles Exercise 6: Un poco más sobre valores ausentes Exercise 7: Análisis de los datos de vivienda Exercise 8: Raza y etnia de los prestatarios por año (II)Exercise 9: Visualización de las tendencias demográficas ajustadas Exercise 10: Cambio relativo en la tendencia demográfica Exercise 11: Tendencias de los préstamos a prestatarios: ciudad vs. rural Exercise 12: Región del prestatario por año Exercise 13: ¿Quién obtiene préstamos con garantía federal?Exercise 14: ¡Enhorabuena!