ComeçarComece de graça

Inicio
Cursos
Processamento de Dados em Escala no R

Analisando os dados de habitação

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Este exercício faz parte do curso

Processamento de Dados em Escala no R

AvançadoNível de habilidade

4.7+

Iniciar curso de graça

Neste capítulo, abordamos por que é preciso aplicar novas técnicas quando os conjuntos de dados são maiores do que a RAM disponível. Mostramos que importar e exportar dados usando as funções base do R pode ser lento e apresentamos algumas maneiras simples de contornar isso. Por fim, introduzimos o pacote bigmemory.

Exercise 1: O que é Processamento de Dados em Escala?Exercise 2: Por que seu código está lento?Exercise 3: Como o tempo de processamento varia conforme o tamanho dos dados?Exercise 4: Trabalhando com objetos "out-of-core" usando o projeto bigmemory Exercise 5: Lendo um objeto big.matrix Exercise 6: Anexando um objeto big.matrix Exercise 7: Criando tabelas com objetos big.matrix Exercise 8: Resumo de dados usando bigsummary Exercise 9: Referências vs. Cópias Exercise 10: Copiando matrizes e big matrices

Agora que você já tem alguma experiência com o bigmemory, vamos passar por algumas técnicas simples de exploração e análise de dados. Em especial, veremos como criar tabelas e implementar a abordagem dividir-aplicar-combinar.

Exercise 1: O conjunto de pacotes Bigmemory Exercise 2: Tabulando com bigtable Exercise 3: Raça e etnia do tomador por ano (I)Exercise 4: Split-Apply-Combine Exercise 5: Proporção de Mulheres Tomadoras de Empréstimo Exercise 6: Dividir Exercise 7: Aplicar Exercise 8: Combinar Exercise 9: Visualize seus resultados usando o tidyverse Exercise 10: Visualizando a Proporção de Empréstimos por Mulheres Exercise 11: The Borrower Income Ratio Exercise 12: Grandes Tabelas Arrumadas Exercise 13: Limitações do bigmemory Exercise 14: Onde você deve usar bigmemory?

Vamos usar o pacote iotools, que pode processar dados numéricos e de texto, e apresentar o conceito de processamento em blocos (chunk-wise).

Exercise 1: Introdução ao processamento em blocos Exercise 2: Você consegue aplicar split-compute-combine?Exercise 3: Operações dobráveis (I)Exercise 4: Operações dobráveis (II)Exercise 5: Primeiro contato com iotools: importando dados Exercise 6: Compare read.delim() e read.delim.raw()Exercise 7: Lendo dados brutos e transformando-os em uma estrutura de dados Exercise 8: chunk.apply Exercise 9: Lendo chunks como uma matriz Exercise 10: Lendo blocos como um data.frame Exercise 11: Paralelizando chamadas para chunk.apply

Nos capítulos anteriores, apresentamos os dados de habitação e mostramos como calcular com dados que são tão grandes quanto, ou maiores do que, a quantidade de RAM em uma única máquina. Neste capítulo, faremos uma análise preliminar dos dados, comparando várias tendências ao longo do tempo.

Exercise 1: Visão geral dos tipos de análise deste capítulo Exercise 2: Representação racial e étnica nos dados de hipotecas Exercise 3: Comparando raça/etnia do tomador e suas proporções Exercise 4: Os dados estão ausentes ao acaso?Exercise 5: Buscando faltas de dados previsíveis Exercise 6: Um pouco mais sobre valores ausentes Exercise 7: Analisando os dados de habitação

Exercício atual

Exercise 8: Raça e etnia do tomador por ano (II)Exercise 9: Visualizando as tendências demográficas ajustadas Exercise 10: Variação relativa na tendência demográfica Exercise 11: Tendências de empréstimo dos tomadores: urbano vs. rural Exercise 12: Região do mutuário por ano Exercise 13: Quem está garantindo empréstimos com garantia federal?Exercise 14: Parabéns!