In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Tekdüzelik

Tarihlerin tekdüzeliği

Para birimi tutarlılığı

Alanlar arası doğrulama

Toplamları doğrulama

Yaşı doğrulama

Tamlık

Seçenekler

Rastgele tamamen eksik

Rastgele eksik

Rastgele olmayan şekilde eksik

Eksiklik türleri

Eksik verileri görselleştirme

Eksik verileri ele alma

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Calculating distance

Small distance, small difference

Fixing typos with string distance

Generating and comparing pairs

Link or join?

Pair blocking

Comparing pairs

Scoring and linking

Score then select or select then score?

Putting it together

Congratulations!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarının Üstesinden Gel</h2>
Veri bilimcilerin zamanlarının %80’ini veriyi temizleme ve dönüştürmeye, yalnızca %20’sini analiz etmeye harcadığı sıkça söylenir. Temizleme için harcanan bu süre kritik önemdedir; çünkü kirli veriyi analiz etmek seni yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemene yardımcı olacak çeşitli teknikleri öğreneceksin. Veri türlerini dönüştürerek başlayacak, aralık kısıtları uygulayacak ve çift sayımı önlemek için tam ve kısmi yinelemelerle (duplikatlarla) başa çıkacaksın.
<br><br>
<h2>İleri Düzey Veri Zorluklarına Dal</h2>
Yaygın veri sorunları üzerinde pratik yaptıktan sonra, ölçümlerde tutarlılığı sağlama ve eksik verilerle başa çıkma gibi daha ileri konulara geçeceksin. Her yeni kavramdan sonra, bilgini pekiştirmen ve deneyim kazanman için uygulamalı bir egzersizi tamamlama fırsatın olacak.
<br><br>
<h2>Veri Temizlemede Record Linkage Kullanmayı Öğren</h2>
Record Linkage, yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Son bölümde bu faydalı tekniği keşfedecek ve iki restoran yorumu veri kümesini tek bir veri kümesinde birleştirerek uygulamasını yapacaksın.

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarını Aşın </h2>
Veri hazırlığı çok önemlidir: Veri bilimcilerin işinin %80'i verileri temizlemek ve işlemektir. İşin yalnızca %20'si gerçekten analiz etmektir. Temizlik için harcanan zaman çok önemlidir, çünkü kirli verileri analiz etmek sizi yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemenize yardımcı olacak çeşitli teknikler öğreneceksiniz. Verileri dönüştürmek, aralık kısıtlamaları uygulamak ve çift saymayı önlemek için tam ve kısmi yinelemelerle başa çıkmakla başlayacaksınız.
<br><br>
<h2>Gelişmiş Veri Zorluklarını Keşfedin </h2>
Yaygın veri sorunları üzerinde çalışmayı öğrendikten sonra, ölçümlerde tutarlılığı sağlamak ve eksik verilerle başa çıkmak gibi daha ileri düzeydeki zorluklara geçeceksiniz. Her yeni kavramın ardından, bilgilerinizi pekiştirmek ve deneyiminizi geliştirmek için uygulamalı bir alıştırma yapma fırsatınız olacak.
<br><br>
<h2>Veri Temizleme Sırasında Kayıt Bağlantısını Kullanmayı Öğrenin </h2>
Kayıt Bağlantısı, değerlerde yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Bu yararlı tekniği son bölümde inceleyecek ve iki restoran yorum veri setini tek bir veri setinde birleştirmek için kullanarak uygulamayı pratik edeceksiniz.

Joining Data with dplyr

Verileri hızlı ve doğru temizlemeyi öğrenin, işinizi ham veriden harika içgörülere taşıyın.

R ile Veri Temizleme

Ham verilerden harika içgörülere ulaşmak için verileri olabildiğince hızlı ve doğru bir şekilde temizlemeyi öğrenin.

Yardımcı Veri Bilimcisi in R

Verileri İçe Aktarma ve Temizleme  in R

Anket formları postada rastgele kayboldu.

Bazı okul bölgelerindeki öğrencilerin test puanları eksik, diğerlerinde değil.

Daha genç kişiler doktorda tansiyonlarını ölçtürmeye daha az eğilimliydi, bu yüzden tıbbi kayıtlarında tansiyon verisi eksikti.

Bir tartının sınırı 30 lb, bu yüzden 30 lb üzerindeki gönderilerin ağırlığı kaydedilmedi.

Gece vardiyasında test edilen kan örneklerinin kontamine olma olasılığı daha yüksekti ve bu durum eksik test sonuçlarına yol açtı, ancak test zamanı kaydedilmemişti.

Eksiklik türleri

R ile Veri Temizleme

Uygulamalı interaktif egzersiz