Neste capítulo, você aprenderá a superar alguns dos problemas mais comuns de dados sujos. Você converterá tipos de dados, aplicará restrições de intervalo para remover pontos de dados futuros e removerá pontos de dados duplicados para evitar contagem dupla.

Restrições de tipo de dados

Tipos de dados comuns

Conversão de tipos de dados

Corte de cordas

Restrições de alcance

Restrições de duração da viagem

De volta ao futuro

Restrições de exclusividade

Duplicatas completas

Remoção de duplicatas parciais

Agregação de duplicatas parciais

Problemas comuns de dados

Os dados categóricos e de texto podem ser algumas das partes mais confusas de um conjunto de dados devido à sua natureza não estruturada. Neste capítulo, você aprenderá a corrigir inconsistências de espaço em branco e de letras maiúsculas nos rótulos de categoria, a recolher várias categorias em uma só e a reformatar cadeias de caracteres para obter consistência.

Verificação de associação

Somente para membros

Não sou membro

Problemas de dados categóricos

Identificação de inconsistências

Correção de inconsistências

Colapso de categorias

Limpeza de dados de texto

Detecção de dados de texto inconsistentes

Substituição e remoção

Números de telefone inválidos

Dados categóricos e de texto

Neste capítulo, você se aprofundará em problemas mais avançados de limpeza de dados, como garantir que todos os pesos sejam escritos em quilogramas em vez de libras. Você também adquirirá habilidades valiosas que o ajudarão a verificar se os valores foram adicionados corretamente e se os valores ausentes não afetam negativamente suas análises.

Uniformidade

Uniformidade de datas

Uniformidade da moeda

Validação entre campos

Validação de totais

Validação da idade

Completude

Opções

Ausência completamente aleatória

Ausência aleatória

Ausência não aleatória

Tipos de falta

Visualização de dados ausentes

Tratamento de dados ausentes

Problemas avançados de dados

A vinculação de registros é uma técnica poderosa usada para mesclar vários conjuntos de dados, usada quando os valores têm erros de digitação ou grafias diferentes. Neste capítulo, você aprenderá a vincular registros calculando a similaridade entre cadeias de caracteres. Em seguida, usará suas novas habilidades para unir dois conjuntos de dados de avaliações de restaurantes em um conjunto de dados mestre limpo.

Comparação de cadeias de caracteres

Cálculo da distância

Pequena distância, pequena diferença

Correção de erros de digitação com distância de string

Geração e comparação de pares

Você pode criar um link ou participar?

Bloqueio de pares

Comparação de pares

Pontuação e vinculação

Você marca e depois seleciona ou seleciona e depois marca?

Montagem

Parabéns!

Vinculação de registros

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Supere problemas comuns de dados, como a remoção de duplicatas no R </h2>
Costuma-se dizer que os cientistas de dados passam 80% do tempo limpando e manipulando dados e apenas 20% do tempo analisando-os. O tempo gasto com a limpeza é vital, pois a análise de dados sujos pode levar você a tirar conclusões imprecisas.
<br><br>
Neste curso, você aprenderá uma variedade de técnicas para ajudá-lo a limpar dados sujos usando o R. Você começará convertendo tipos de dados, aplicando restrições de intervalo e lidando com duplicatas totais e parciais para evitar contagem dupla.
<br><br>
<h2>Mergulhe nos desafios dos dados avançados </h2>
Depois de praticar o trabalho com problemas comuns de dados, você passará para desafios mais avançados, como garantir a consistência das medições e lidar com dados ausentes. Após cada novo conceito, você terá a oportunidade de realizar um exercício prático para consolidar seu conhecimento e aumentar sua experiência.
<br><br>
<h2>Aprenda a usar a vinculação de registros durante a limpeza de dados </h2>
O Record Linkage é usado para mesclar conjuntos de dados quando os valores apresentam problemas como erros de digitação ou grafias diferentes. Você explorará essa técnica útil no capítulo final e praticará o aplicativo usando-a para unir dois conjuntos de dados de avaliações de restaurantes em um único conjunto de dados.

Joining Data with dplyr

Aprenda a limpar dados rápida e precisamente para transformar dados brutos em insights incríveis.

Limpeza de dados no R

Cientista de dados associado em R

Importação e limpeza de dados  em R

Os questionários foram perdidos aleatoriamente pelo correio.

Faltam pontuações de testes para alunos de um determinado distrito escolar, mas não para os demais.

As pessoas mais jovens eram menos propensas a verificar a pressão arterial no médico e, portanto, seus registros médicos não continham dados sobre a pressão arterial.

Uma balança tem um limite de 30 lbs, portanto, remessas acima de 30 lbs não têm um peso registrado.

As amostras de sangue testadas durante o turno da noite tinham maior probabilidade de serem contaminadas, o que gerava resultados de testes faltantes, mas o horário do teste não era registrado.

Tipos de falta

Limpeza de dados no R

Exercício interativo prático