Bu bölümde, en yaygın kirli veri sorunlarının üstesinden gelmeyi öğreneceksin. Veri türlerini dönüştürecek, gelecekteki veri noktalarını elemek için aralık kısıtları uygulayacak ve çift sayımı önlemek için yinelenen veri noktalarını kaldıracaksın.

Veri tipi kısıtları

Yaygın veri türleri

Veri türlerini dönüştürme

Dizge kırpma

Aralık kısıtları

Sürüş süresi kısıtları

Geleceğe dönüş

Benzersizlik kısıtları

Tam kopyalar

Kısmi yinelenenleri kaldırma

Kısmi kopyaları birleştirerek özetleme

Yaygın Veri Sorunları

Kategorik ve metin verileri, yapılandırılmamış yapıları nedeniyle bir veri kümesinin en dağınık kısımları olabilir. Bu bölümde, kategori etiketlerindeki boşluk ve büyük/küçük harf tutarsızlıklarını düzeltecek, birden fazla kategoriyi tek bir kategoride toplayacak ve tutarlılık için dizeleri yeniden biçimlendireceksin.

Üyeliği kontrol etme

Yalnızca üyeler

Üye değil

Kategorik veri sorunları

Tutarsızlıkları belirleme

Tutarsızlığı düzeltme

Kategorileri birleştirme

Metin verilerini temizleme

Tutarsız metin verisini tespit etme

Değiştirme ve kaldırma

Geçersiz telefon numaraları

Kategorik ve Metin Verileri

Bu bölümde, örneğin ağırlıkların pound yerine kilogram olarak yazıldığından emin olmak gibi daha ileri düzey veri temizleme sorunlarına dalacaksın. Ayrıca, değerlerin doğru eklendiğini doğrulamaya ve eksik değerlerin analizlerini olumsuz etkilememesine yardımcı olacak çok değerli beceriler kazanacaksın.

Tekdüzelik

Tarihlerin tekdüzeliği

Para birimi tutarlılığı

Alanlar arası doğrulama

Toplamları doğrulama

Yaşı doğrulama

Tamlık

Seçenekler

Rastgele tamamen eksik

Rastgele eksik

Rastgele olmayan şekilde eksik

Eksiklik türleri

Eksik verileri görselleştirme

Eksik verileri ele alma

İleri Düzey Veri Sorunları

Record linkage, yazım hataları veya farklı yazımlar olduğunda birden çok veri kümesini birleştirmek için kullanılan güçlü bir tekniktir. Bu bölümde, dizeler arasındaki benzerliği hesaplayarak kayıtları nasıl bağlayacağını öğreneceksin—sonrasında yeni becerilerini kullanarak iki restoran yorumu veri kümesini tek ve temiz bir ana veri kümesinde birleştireceksin.

Dizgileri karşılaştırma

Mesafe hesaplama

Küçük uzaklık, küçük fark

Dizge uzaklığıyla yazım hatalarını düzeltme

Çiftleri oluşturma ve karşılaştırma

Bağla mı birleştir mi?

Çift bloklama

Eşleri karşılaştırma

Puanlama ve bağlama

Önce puanla sonra seç mi, yoksa önce seç sonra puanla mı?

Hepsini bir araya getirelim

Tebrikler!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarının Üstesinden Gel</h2>
Veri bilimcilerin zamanlarının %80’ini veriyi temizleme ve dönüştürmeye, yalnızca %20’sini analiz etmeye harcadığı sıkça söylenir. Temizleme için harcanan bu süre kritik önemdedir; çünkü kirli veriyi analiz etmek seni yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemene yardımcı olacak çeşitli teknikleri öğreneceksin. Veri türlerini dönüştürerek başlayacak, aralık kısıtları uygulayacak ve çift sayımı önlemek için tam ve kısmi yinelemelerle (duplikatlarla) başa çıkacaksın.
<br><br>
<h2>İleri Düzey Veri Zorluklarına Dal</h2>
Yaygın veri sorunları üzerinde pratik yaptıktan sonra, ölçümlerde tutarlılığı sağlama ve eksik verilerle başa çıkma gibi daha ileri konulara geçeceksin. Her yeni kavramdan sonra, bilgini pekiştirmen ve deneyim kazanman için uygulamalı bir egzersizi tamamlama fırsatın olacak.
<br><br>
<h2>Veri Temizlemede Record Linkage Kullanmayı Öğren</h2>
Record Linkage, yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Son bölümde bu faydalı tekniği keşfedecek ve iki restoran yorumu veri kümesini tek bir veri kümesinde birleştirerek uygulamasını yapacaksın.

<h2>R'de Yinelenenleri Kaldırma Gibi Yaygın Veri Sorunlarını Aşın </h2>
Veri hazırlığı çok önemlidir: Veri bilimcilerin işinin %80'i verileri temizlemek ve işlemektir. İşin yalnızca %20'si gerçekten analiz etmektir. Temizlik için harcanan zaman çok önemlidir, çünkü kirli verileri analiz etmek sizi yanlış sonuçlara götürebilir.
<br><br>
Bu kursta, R kullanarak kirli verileri temizlemenize yardımcı olacak çeşitli teknikler öğreneceksiniz. Verileri dönüştürmek, aralık kısıtlamaları uygulamak ve çift saymayı önlemek için tam ve kısmi yinelemelerle başa çıkmakla başlayacaksınız.
<br><br>
<h2>Gelişmiş Veri Zorluklarını Keşfedin </h2>
Yaygın veri sorunları üzerinde çalışmayı öğrendikten sonra, ölçümlerde tutarlılığı sağlamak ve eksik verilerle başa çıkmak gibi daha ileri düzeydeki zorluklara geçeceksiniz. Her yeni kavramın ardından, bilgilerinizi pekiştirmek ve deneyiminizi geliştirmek için uygulamalı bir alıştırma yapma fırsatınız olacak.
<br><br>
<h2>Veri Temizleme Sırasında Kayıt Bağlantısını Kullanmayı Öğrenin </h2>
Kayıt Bağlantısı, değerlerde yazım hataları veya farklı yazımlar gibi sorunlar olduğunda veri kümelerini birleştirmek için kullanılır. Bu yararlı tekniği son bölümde inceleyecek ve iki restoran yorum veri setini tek bir veri setinde birleştirmek için kullanarak uygulamayı pratik edeceksiniz.

Joining Data with dplyr

Verileri hızlı ve doğru temizlemeyi öğrenin, işinizi ham veriden harika içgörülere taşıyın.

R ile Veri Temizleme

Ham verilerden harika içgörülere ulaşmak için verileri olabildiğince hızlı ve doğru bir şekilde temizlemeyi öğrenin.

Yardımcı Veri Bilimcisi in R

Verileri İçe Aktarma ve Temizleme  in R

Anket formları postada rastgele kayboldu.

Bazı okul bölgelerindeki öğrencilerin test puanları eksik, diğerlerinde değil.

Daha genç kişiler doktorda tansiyonlarını ölçtürmeye daha az eğilimliydi, bu yüzden tıbbi kayıtlarında tansiyon verisi eksikti.

Bir tartının sınırı 30 lb, bu yüzden 30 lb üzerindeki gönderilerin ağırlığı kaydedilmedi.

Gece vardiyasında test edilen kan örneklerinin kontamine olma olasılığı daha yüksekti ve bu durum eksik test sonuçlarına yol açtı, ancak test zamanı kaydedilmemişti.

Eksiklik türleri

R ile Veri Temizleme

Uygulamalı etkileşimli egzersiz