In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformity

Date uniformity

Currency uniformity

Cross field validation

Validating totals

Validating age

Completeness

Types of missingness

Visualizing missing data

Treating missing data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Dizgileri karşılaştırma

Mesafe hesaplama

Küçük uzaklık, küçük fark

Dizge uzaklığıyla yazım hatalarını düzeltme

Çiftleri oluşturma ve karşılaştırma

Seçenekler

Record linkage

Normal join’lar

Bağla mı birleştir mi?

Çift bloklama

Eşleri karşılaştırma

Puanlama ve bağlama

Kayıt Eşleştirme Süreci

Önce puanla sonra seç mi, yoksa önce seç sonra puanla mı?

Hepsini bir araya getirelim

Tebrikler!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarının Üstesinden Gel</h2>
Veri bilimcilerin zamanlarının %80’ini veriyi temizleme ve dönüştürmeye, yalnızca %20’sini analiz etmeye harcadığı sıkça söylenir. Temizleme için harcanan bu süre kritik önemdedir; çünkü kirli veriyi analiz etmek seni yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemene yardımcı olacak çeşitli teknikleri öğreneceksin. Veri türlerini dönüştürerek başlayacak, aralık kısıtları uygulayacak ve çift sayımı önlemek için tam ve kısmi yinelemelerle (duplikatlarla) başa çıkacaksın.
<br><br>
<h2>İleri Düzey Veri Zorluklarına Dal</h2>
Yaygın veri sorunları üzerinde pratik yaptıktan sonra, ölçümlerde tutarlılığı sağlama ve eksik verilerle başa çıkma gibi daha ileri konulara geçeceksin. Her yeni kavramdan sonra, bilgini pekiştirmen ve deneyim kazanman için uygulamalı bir egzersizi tamamlama fırsatın olacak.
<br><br>
<h2>Veri Temizlemede Record Linkage Kullanmayı Öğren</h2>
Record Linkage, yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Son bölümde bu faydalı tekniği keşfedecek ve iki restoran yorumu veri kümesini tek bir veri kümesinde birleştirerek uygulamasını yapacaksın.

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarını Aşın </h2>
Veri hazırlığı çok önemlidir: Veri bilimcilerin işinin %80'i verileri temizlemek ve işlemektir. İşin yalnızca %20'si gerçekten analiz etmektir. Temizlik için harcanan zaman çok önemlidir, çünkü kirli verileri analiz etmek sizi yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemenize yardımcı olacak çeşitli teknikler öğreneceksiniz. Verileri dönüştürmek, aralık kısıtlamaları uygulamak ve çift saymayı önlemek için tam ve kısmi yinelemelerle başa çıkmakla başlayacaksınız.
<br><br>
<h2>Gelişmiş Veri Zorluklarını Keşfedin </h2>
Yaygın veri sorunları üzerinde çalışmayı öğrendikten sonra, ölçümlerde tutarlılığı sağlamak ve eksik verilerle başa çıkmak gibi daha ileri düzeydeki zorluklara geçeceksiniz. Her yeni kavramın ardından, bilgilerinizi pekiştirmek ve deneyiminizi geliştirmek için uygulamalı bir alıştırma yapma fırsatınız olacak.
<br><br>
<h2>Veri Temizleme Sırasında Kayıt Bağlantısını Kullanmayı Öğrenin </h2>
Kayıt Bağlantısı, değerlerde yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Bu yararlı tekniği son bölümde inceleyecek ve iki restoran yorum veri setini tek bir veri setinde birleştirmek için kullanarak uygulamayı pratik edeceksiniz.

Joining Data with dplyr

Verileri hızlı ve doğru temizlemeyi öğrenin, işinizi ham veriden harika içgörülere taşıyın.

R ile Veri Temizleme

Ham verilerden harika içgörülere ulaşmak için verileri olabildiğince hızlı ve doğru bir şekilde temizlemeyi öğrenin.

Yardımcı Veri Bilimcisi in R

Verileri İçe Aktarma ve Temizleme  in R

Müşteri adları ve adresleri içeren iki veri çerçevesi; birinde müşteri başına benzersiz tanımlayıcı var, diğerinde yok.

`team_A`, `team_B` ve `time` sütunlarına sahip iki basketbol veri çerçevesini birleştirmek; her veri çerçevesinde takım adları farklı biçimlendirilmiş.

İki veri çerçevesini `address` sütununu kullanarak birleştirmek; adresler her veri çerçevesinde biraz farklı biçimlendirilmiş.

Maç başına ortak benzersiz tanımlayıcıya sahip iki basketbol veri çerçevesi.

Her biri kendi benzersiz tanımlayıcısına sahip DataCamp kursu detaylarını içeren iki veri çerçevesini birleştirme.

Bağla mı birleştir mi?

R ile Veri Temizleme

Uygulamalı interaktif egzersiz