In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Veri tipi kısıtları

Seçenekler

Sayısal

Metin

Tarih

Yaygın veri türleri

Veri türlerini dönüştürme

Dizge kırpma

Aralık kısıtları

Sürüş süresi kısıtları

Geleceğe dönüş

Benzersizlik kısıtları

Tam kopyalar

Kısmi yinelenenleri kaldırma

Kısmi kopyaları birleştirerek özetleme

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformity

Date uniformity

Currency uniformity

Cross field validation

Validating totals

Validating age

Completeness

Types of missingness

Visualizing missing data

Treating missing data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Calculating distance

Small distance, small difference

Fixing typos with string distance

Generating and comparing pairs

Link or join?

Pair blocking

Comparing pairs

Scoring and linking

Score then select or select then score?

Putting it together

Congratulations!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarının Üstesinden Gel</h2>
Veri bilimcilerin zamanlarının %80’ini veriyi temizleme ve dönüştürmeye, yalnızca %20’sini analiz etmeye harcadığı sıkça söylenir. Temizleme için harcanan bu süre kritik önemdedir; çünkü kirli veriyi analiz etmek seni yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemene yardımcı olacak çeşitli teknikleri öğreneceksin. Veri türlerini dönüştürerek başlayacak, aralık kısıtları uygulayacak ve çift sayımı önlemek için tam ve kısmi yinelemelerle (duplikatlarla) başa çıkacaksın.
<br><br>
<h2>İleri Düzey Veri Zorluklarına Dal</h2>
Yaygın veri sorunları üzerinde pratik yaptıktan sonra, ölçümlerde tutarlılığı sağlama ve eksik verilerle başa çıkma gibi daha ileri konulara geçeceksin. Her yeni kavramdan sonra, bilgini pekiştirmen ve deneyim kazanman için uygulamalı bir egzersizi tamamlama fırsatın olacak.
<br><br>
<h2>Veri Temizlemede Record Linkage Kullanmayı Öğren</h2>
Record Linkage, yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Son bölümde bu faydalı tekniği keşfedecek ve iki restoran yorumu veri kümesini tek bir veri kümesinde birleştirerek uygulamasını yapacaksın.

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarını Aşın </h2>
Veri hazırlığı çok önemlidir: Veri bilimcilerin işinin %80'i verileri temizlemek ve işlemektir. İşin yalnızca %20'si gerçekten analiz etmektir. Temizlik için harcanan zaman çok önemlidir, çünkü kirli verileri analiz etmek sizi yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemenize yardımcı olacak çeşitli teknikler öğreneceksiniz. Verileri dönüştürmek, aralık kısıtlamaları uygulamak ve çift saymayı önlemek için tam ve kısmi yinelemelerle başa çıkmakla başlayacaksınız.
<br><br>
<h2>Gelişmiş Veri Zorluklarını Keşfedin </h2>
Yaygın veri sorunları üzerinde çalışmayı öğrendikten sonra, ölçümlerde tutarlılığı sağlamak ve eksik verilerle başa çıkmak gibi daha ileri düzeydeki zorluklara geçeceksiniz. Her yeni kavramın ardından, bilgilerinizi pekiştirmek ve deneyiminizi geliştirmek için uygulamalı bir alıştırma yapma fırsatınız olacak.
<br><br>
<h2>Veri Temizleme Sırasında Kayıt Bağlantısını Kullanmayı Öğrenin </h2>
Kayıt Bağlantısı, değerlerde yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Bu yararlı tekniği son bölümde inceleyecek ve iki restoran yorum veri setini tek bir veri setinde birleştirmek için kullanarak uygulamayı pratik edeceksiniz.

Joining Data with dplyr

Verileri hızlı ve doğru temizlemeyi öğrenin, işinizi ham veriden harika içgörülere taşıyın.

R ile Veri Temizleme

Ham verilerden harika içgörülere ulaşmak için verileri olabildiğince hızlı ve doğru bir şekilde temizlemeyi öğrenin.

Yardımcı Veri Bilimcisi in R

Verileri İçe Aktarma ve Temizleme  in R

Kısmi yinelenenleri kaldırma

R ile Veri Temizleme

Uygulamalı interaktif egzersiz