Neste capítulo, você aprenderá a superar alguns dos problemas mais comuns de dados sujos. Você converterá tipos de dados, aplicará restrições de intervalo para remover pontos de dados futuros e removerá pontos de dados duplicados para evitar contagem dupla.

Restrições de tipo de dados

Tipos de dados comuns

Dados numéricos ou ... ?

Soma de strings e concatenação de números

Restrições de intervalo de dados

Restrições de tamanho de pneu

De volta para o futuro

Restrições de exclusividade

Qual é o tamanho do seu subconjunto?

Localização de duplicatas

Tratamento de duplicatas

Problemas comuns de dados

Os dados categóricos e de texto podem ser algumas das partes mais confusas de um conjunto de dados devido à sua natureza não estruturada. Neste capítulo, você aprenderá a corrigir inconsistências de espaço em branco e de letras maiúsculas nos rótulos de categoria, a recolher várias categorias em uma só e a reformatar strings para obter consistência.

Restrições de associação

Alternativas

Restrição de associação

Outra restrição

Somente para membros

Encontrar consistência

Variáveis categóricas

Espaços em branco e inconsistência

Criar ou remapear categorias

Categorias de erros

Categorias inconsistentes

Remapeamento de categorias

Limpeza de dados de texto

Remoção de títulos e nomes

Mantendo-o descritivo

Problemas de texto e dados categóricos

Neste capítulo, você se aprofundará em problemas mais avançados de limpeza de dados, como garantir que todos os pesos sejam escritos em quilogramas em vez de libras. Você também adquirirá habilidades valiosas que o ajudarão a verificar se os valores foram adicionados corretamente e se os valores ausentes não afetam negativamente suas análises.

Uniformidade

Datas ambíguas

Moedas uniformes

Datas uniformes

Validação entre campos

Com ou sem campo cruzado?

Como está a integridade de nossos dados?

Completude

Isso é uma ausência aleatória?

Investidores ausentes

Siga o dinheiro

Problemas avançados de dados

A vinculação de registros é uma técnica poderosa usada para mesclar vários conjuntos de dados, usada quando os valores têm erros de digitação ou grafias diferentes. Neste capítulo, você aprenderá a vincular registros calculando a similaridade entre strings. Em seguida, usará suas novas habilidades para unir dois conjuntos de dados de avaliações de restaurantes em um conjunto de dados mestre limpo.

Comparação de strings

Distância mínima de edição

O ponto de corte

Remapeamento de categorias II

Geração de pares

Criar ou não criar um link?

Pares de restaurantes

Restaurantes similares

Vinculação de DataFrames

Obtendo o índice correto

Conectando-os!

Parabéns!

Vinculação de registros

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Costuma-se dizer que os cientistas de dados passam 80% do tempo limpando e manipulando dados e apenas 20% do tempo analisando-os. O tempo gasto com a limpeza é vital, pois a análise de dados sujos pode levar você a tirar conclusões imprecisas.

A limpeza de dados é uma tarefa essencial na ciência de dados. Sem dados devidamente limpos, os resultados de qualquer análise de dados ou modelo de aprendizado de máquina podem ser imprecisos. Neste curso, você aprenderá a identificar, diagnosticar e tratar uma variedade de problemas de limpeza de dados em Python, desde os mais simples até os mais avançados. Você lidará com tipos de dados inadequados, verificará se os dados estão no intervalo correto, lidará com dados ausentes, realizará a vinculação de registros e muito mais!

<h2>Descubra como limpar dados em Python</h2>
Costuma-se dizer que os cientistas de dados passam 80% do tempo limpando e manipulando dados e apenas 20% do tempo analisando-os. A limpeza de dados é uma etapa essencial para todo cientista de dados, pois a análise de dados sujos pode levar a conclusões imprecisas. 
<br><br>
Neste curso, você aprenderá a identificar, diagnosticar e tratar vários problemas de limpeza de dados em Python, desde os mais simples até os mais avançados. Você lidará com tipos de dados inadequados, verificará se os dados estão no intervalo correto, lidará com dados ausentes, realizará a vinculação de registros e muito mais!
<br><br>
<h2>Saiba como limpar diferentes tipos de dados</h2>
O primeiro capítulo do curso explora problemas comuns de dados e como você pode corrigi-los. Primeiro, você entenderá os tipos de dados básicos e como lidar com eles individualmente. Depois, você aplicará restrições de intervalo e removerá pontos de dados duplicados.
<br><br>
O último capítulo explora a vinculação de registros, uma ferramenta poderosa para mesclar vários conjuntos de dados. Você aprenderá a vincular registros calculando a similaridade entre cadeias de caracteres. Por fim, você usará suas novas habilidades para unir dois conjuntos de dados de avaliações de restaurantes em um conjunto de dados mestre limpo.
<br><br>
<h2>Ganhe confiança na limpeza de dados</h2>
Ao final do curso, você terá confiança para limpar dados de vários tipos e usar a vinculação de registros para mesclar vários conjuntos de dados. A limpeza de dados é uma habilidade essencial para os cientistas de dados. Se você quiser saber mais sobre a limpeza de dados em Python e seus aplicativos, confira as seguintes faixas: Cientista de dados com Python e Importação e limpeza de dados com Python.

Python Toolbox

Joining Data with pandas

Domine a limpeza de dados em Python neste curso de quatro horas. Explore problemas comuns e avançados.

Limpeza de dados em Python

Aprenda a diagnosticar e tratar dados sujos e transforme seus dados brutos em insights precisos!

Cientista de dados associado  Em Python

Engenheiro de dados Em Python

Importação e limpeza de dados  Em Python

Uma coluna `day_of_week` com o valor `Suntermonday`.

Uma coluna `birthdate` com valores no futuro.

Uma coluna `age` com valores acima de `130`.

Uma coluna `revenue` representada como uma string.

Somente para membros

Limpeza de dados em Python

Exercício interativo prático