Neste capítulo, você aprenderá a superar alguns dos problemas mais comuns de dados sujos. Você converterá tipos de dados, aplicará restrições de intervalo para remover pontos de dados futuros e removerá pontos de dados duplicados para evitar contagem dupla.

Restrições de tipo de dados

Tipos de dados comuns

Dados numéricos ou ... ?

Soma de strings e concatenação de números

Restrições de intervalo de dados

Restrições de tamanho de pneu

De volta para o futuro

Restrições de exclusividade

Qual é o tamanho do seu subconjunto?

Localização de duplicatas

Tratamento de duplicatas

Problemas comuns de dados

Os dados categóricos e de texto podem ser algumas das partes mais confusas de um conjunto de dados devido à sua natureza não estruturada. Neste capítulo, você aprenderá a corrigir inconsistências de espaço em branco e de letras maiúsculas nos rótulos de categoria, a recolher várias categorias em uma só e a reformatar strings para obter consistência.

Restrições de associação

Opções

Restrição de associação

Outra restrição

Somente para membros

Encontrar consistência

Variáveis categóricas

Espaços em branco e inconsistência

Criar ou remapear categorias

Categorias de erros

Categorias inconsistentes

Remapeamento de categorias

Limpeza de dados de texto

Remoção de títulos e nomes

Mantendo-o descritivo

Problemas de texto e dados categóricos

Neste capítulo, você vai se aprofundar em problemas mais avançados de limpeza de dados, como garantir que todos os pesos estejam expressos em quilogramas, em vez de libras. Você também vai adquirir habilidades valiosas que vão te ajudar a verificar se os valores foram inseridos corretamente e se os valores ausentes não prejudicam suas análises.

Uniformidade

Datas ambíguas

Moedas uniformes

Datas uniformes

Validação entre campos

Com ou sem campo cruzado?

Como está a integridade de nossos dados?

Completude

Isso é uma ausência aleatória?

Investidores ausentes

Siga o dinheiro

Problemas avançados de dados

A vinculação de registros é uma técnica poderosa usada para mesclar vários conjuntos de dados, usada quando os valores têm erros de digitação ou grafias diferentes. Neste capítulo, você vai aprender a vincular registros calculando a similaridade entre cadeias de caracteres — depois, vai usar suas novas habilidades para unir dois conjuntos de dados de avaliações de restaurantes em um único conjunto de dados principal e organizado.

Comparação de strings

Distância mínima de edição

O ponto de corte

Remapeamento de categorias II

Geração de pares

Criar ou não criar um link?

Pares de restaurantes

Restaurantes similares

Vinculação de DataFrames

Obtendo o índice correto

Conectando-os!

Parabéns!

Vinculação de registros

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Course Glossary

Costuma-se dizer que os cientistas de dados passam 80% do tempo limpando e manipulando dados e apenas 20% do tempo analisando-os. O tempo gasto com a limpeza é vital, pois a análise de dados sujos pode levar você a tirar conclusões imprecisas.

Os vídeos têm transcrições ao vivo que você pode ver clicando em “Mostrar transcrição” no canto inferior esquerdo dos vídeos.
O glossário do curso está à direita, na seção de recursos.
Pra conseguir créditos CPE, você precisa terminar o curso e tirar pelo menos 70% na avaliação. Você pode acessar a avaliação clicando na chamada de créditos CPE à direita.

A limpeza de dados é uma tarefa essencial na ciência de dados. Sem dados devidamente limpos, os resultados de qualquer análise de dados ou modelo de aprendizado de máquina podem ser imprecisos. Neste curso, você aprenderá a identificar, diagnosticar e tratar uma variedade de problemas de limpeza de dados em Python, desde os mais simples até os mais avançados. Você lidará com tipos de dados inadequados, verificará se os dados estão no intervalo correto, lidará com dados ausentes, realizará a vinculação de registros e muito mais!

<h2>Descubra como limpar dados em Python</h2>
Costuma-se dizer que os cientistas de dados passam 80% do tempo limpando e manipulando dados e apenas 20% do tempo analisando-os. A limpeza de dados é uma etapa essencial para todo cientista de dados, pois a análise de dados sujos pode levar a conclusões imprecisas. 
<br><br>
Neste curso, você aprenderá a identificar, diagnosticar e tratar vários problemas de limpeza de dados em Python, desde os mais simples até os mais avançados. Você lidará com tipos de dados inadequados, verificará se os dados estão no intervalo correto, lidará com dados ausentes, realizará a vinculação de registros e muito mais!
<br><br>
<h2>Saiba como limpar diferentes tipos de dados</h2>
O primeiro capítulo do curso explora problemas comuns de dados e como você pode corrigi-los. Primeiro, você entenderá os tipos de dados básicos e como lidar com eles individualmente. Depois, você aplicará restrições de intervalo e removerá pontos de dados duplicados.
<br><br>
O último capítulo explora a vinculação de registros, uma ferramenta poderosa para mesclar vários conjuntos de dados. Você aprenderá a vincular registros calculando a similaridade entre cadeias de caracteres. Por fim, você usará suas novas habilidades para unir dois conjuntos de dados de avaliações de restaurantes em um conjunto de dados mestre limpo.
<br><br>
<h2>Ganhe confiança na limpeza de dados</h2>
Ao final do curso, você terá confiança para limpar dados de vários tipos e usar a vinculação de registros para mesclar vários conjuntos de dados. A limpeza de dados é uma habilidade essencial para os cientistas de dados. Se você quiser saber mais sobre a limpeza de dados em Python e seus aplicativos, confira as seguintes faixas: Cientista de dados com Python e Importação e limpeza de dados com Python.

Python Toolbox

Joining Data with pandas

Domine a limpeza de dados em Python neste curso de quatro horas. Explore problemas comuns e avançados.

Limpeza de dados em Python

Aprenda a diagnosticar e tratar dados sujos e transforme dados brutos em insights precisos. 

Associate Data Scientist  em Python

Engenheiro de dados Em Python

Importação e limpeza de dados  Em Python

Uma coluna `day_of_week` com o valor `Suntermonday`.

Uma coluna `birthdate` com valores no futuro.

Uma coluna `age` com valores acima de `130`.

Uma coluna `revenue` representada como uma string.

Somente para membros

Limpeza de dados em Python

exercicio interativo prático