In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Keseragaman

Keseragaman tanggal

Keseragaman mata uang

Validasi lintas kolom

Memvalidasi total

Memvalidasi usia

Kelengkapan

Pilihan

Missing completely at random

Missing at random

Missing not at random

Jenis-jenis missingness

Memvisualisasikan data hilang

Menangani data hilang

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Calculating distance

Small distance, small difference

Fixing typos with string distance

Generating and comparing pairs

Link or join?

Pair blocking

Comparing pairs

Scoring and linking

Score then select or select then score?

Putting it together

Congratulations!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Atasi Masalah Data Umum seperti Menghapus Duplikat di R</h2>
Sering dikatakan bahwa data scientist menghabiskan 80% waktunya untuk membersihkan dan memanipulasi data, dan hanya 20% untuk menganalisisnya. Waktu untuk pembersihan ini sangat penting karena menganalisis data kotor dapat membuat Anda menarik kesimpulan yang keliru.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membantu membersihkan data kotor menggunakan R. Anda akan mulai dengan mengonversi tipe data, menerapkan batasan rentang, serta menangani duplikat penuh dan parsial untuk menghindari penghitungan ganda.
<br><br>
<h2>Dalami Tantangan Data Lanjutan</h2>
Setelah berlatih menangani masalah data yang umum, Anda akan berlanjut ke tantangan yang lebih lanjut seperti memastikan konsistensi satuan pengukuran dan menangani data hilang. Setelah setiap konsep baru, Anda akan berkesempatan mengerjakan latihan praktik untuk memperkuat pengetahuan dan membangun pengalaman Anda.
<br><br>
<h2>Pelajari Penggunaan Record Linkage Saat Membersihkan Data</h2>
Record Linkage digunakan untuk menggabungkan himpunan data ketika nilainya bermasalah, seperti salah ketik atau ejaan yang berbeda. Anda akan mengeksplorasi teknik bermanfaat ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua himpunan data ulasan restoran menjadi satu himpunan data.

<h2>Atasi Masalah Data Umum Seperti Menghapus Duplikat di R </h2>
Sering dikatakan bahwa ilmuwan data menghabiskan 80% waktu mereka untuk membersihkan dan memanipulasi data, dan hanya 20% waktu mereka untuk menganalisisnya. Waktu yang dihabiskan untuk membersihkan data sangat penting, karena menganalisis data yang kotor dapat membuat Anda menarik kesimpulan yang tidak akurat.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membersihkan data kotor menggunakan R. Anda akan memulai dengan mengubah tipe data, menerapkan batasan rentang, dan menangani duplikat penuh dan sebagian untuk menghindari penghitungan ganda.
<br><br>
<h2>Menyelami Tantangan Data Tingkat Lanjut </h2>
Setelah Anda berlatih menangani masalah data umum, Anda akan beralih ke tantangan yang lebih kompleks, seperti memastikan konsistensi dalam pengukuran dan menangani data yang hilang. Setelah setiap konsep baru, Anda akan memiliki kesempatan untuk menyelesaikan latihan praktis untuk memperkuat pemahaman Anda dan mengembangkan pengalaman Anda.
<br><br>
<h2>Pelajari Cara Menggunakan Rekoneksi Data Selama Pembersihan Data </h2>
Rekonsiliasi Data digunakan untuk menggabungkan dataset ketika nilai-nilai dalam dataset tersebut memiliki masalah seperti kesalahan ketik atau perbedaan ejaan. Anda akan mempelajari teknik berguna ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua dataset ulasan restoran menjadi satu dataset tunggal.

Joining Data with dplyr

Pelajari cara membersihkan data dengan cepat dan akurat untuk mengubah data mentah jadi wawasan hebat.

Membersihkan Data di R

Pelajari cara membersihkan data dengan cepat dan akurat agar Anda dapat beralih dari data mentah menjadi wawasan yang luar biasa.

Associate Data Scientist di R

Impor & Pembersihan Data  di R

Kuesioner secara acak hilang di pengiriman pos.

Nilai ujian hilang untuk siswa dari suatu distrik sekolah tertentu, tetapi tidak untuk distrik lain.

Orang yang lebih muda cenderung tidak memeriksakan tekanan darah ke dokter, sehingga rekam medis mereka tidak memiliki data tekanan darah.

Sebuah timbangan memiliki batas 30 lb, sehingga pengiriman di atas 30 lb tidak memiliki bobot yang tercatat.

Sampel darah yang diuji pada shift malam lebih rentan terkontaminasi, menyebabkan hasil tes hilang, tetapi waktu pengujian tidak dicatat.

Jenis-jenis missingness

Membersihkan Data di R

Latihan interaktif praktis