In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformity

Date uniformity

Currency uniformity

Cross field validation

Validating totals

Validating age

Completeness

Types of missingness

Visualizing missing data

Treating missing data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Membandingkan string

Menghitung jarak

Jarak kecil, perbedaan kecil

Memperbaiki salah ketik dengan jarak string

Membuat dan membandingkan pasangan

Opsi

Record linkage

Join biasa

Tautkan atau gabungkan?

Pemblokiran pasangan

Membandingkan pasangan

Pemberian skor dan pengaitan

Proses Record Linkage

Nilai lalu pilih atau pilih lalu nilai?

Menggabungkan semuanya

Selamat!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Atasi Masalah Data Umum seperti Menghapus Duplikat di R</h2>
Sering dikatakan bahwa data scientist menghabiskan 80% waktunya untuk membersihkan dan memanipulasi data, dan hanya 20% untuk menganalisisnya. Waktu untuk pembersihan ini sangat penting karena menganalisis data kotor dapat membuat Anda menarik kesimpulan yang keliru.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membantu membersihkan data kotor menggunakan R. Anda akan mulai dengan mengonversi tipe data, menerapkan batasan rentang, serta menangani duplikat penuh dan parsial untuk menghindari penghitungan ganda.
<br><br>
<h2>Dalami Tantangan Data Lanjutan</h2>
Setelah berlatih menangani masalah data yang umum, Anda akan berlanjut ke tantangan yang lebih lanjut seperti memastikan konsistensi satuan pengukuran dan menangani data hilang. Setelah setiap konsep baru, Anda akan berkesempatan mengerjakan latihan praktik untuk memperkuat pengetahuan dan membangun pengalaman Anda.
<br><br>
<h2>Pelajari Penggunaan Record Linkage Saat Membersihkan Data</h2>
Record Linkage digunakan untuk menggabungkan himpunan data ketika nilainya bermasalah, seperti salah ketik atau ejaan yang berbeda. Anda akan mengeksplorasi teknik bermanfaat ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua himpunan data ulasan restoran menjadi satu himpunan data.

<h2>Atasi Masalah Data Umum Seperti Menghapus Duplikat di R </h2>
Sering dikatakan bahwa ilmuwan data menghabiskan 80% waktu mereka untuk membersihkan dan memanipulasi data, dan hanya 20% waktu mereka untuk menganalisisnya. Waktu yang dihabiskan untuk membersihkan data sangat penting, karena menganalisis data yang kotor dapat membuat Anda menarik kesimpulan yang tidak akurat.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membersihkan data kotor menggunakan R. Anda akan memulai dengan mengubah tipe data, menerapkan batasan rentang, dan menangani duplikat penuh dan sebagian untuk menghindari penghitungan ganda.
<br><br>
<h2>Menyelami Tantangan Data Tingkat Lanjut </h2>
Setelah Anda berlatih menangani masalah data umum, Anda akan beralih ke tantangan yang lebih kompleks, seperti memastikan konsistensi dalam pengukuran dan menangani data yang hilang. Setelah setiap konsep baru, Anda akan memiliki kesempatan untuk menyelesaikan latihan praktis untuk memperkuat pemahaman Anda dan mengembangkan pengalaman Anda.
<br><br>
<h2>Pelajari Cara Menggunakan Rekoneksi Data Selama Pembersihan Data </h2>
Rekonsiliasi Data digunakan untuk menggabungkan dataset ketika nilai-nilai dalam dataset tersebut memiliki masalah seperti kesalahan ketik atau perbedaan ejaan. Anda akan mempelajari teknik berguna ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua dataset ulasan restoran menjadi satu dataset tunggal.

Joining Data with dplyr

Pelajari cara membersihkan data dengan cepat dan akurat untuk mengubah data mentah jadi wawasan hebat.

Membersihkan Data di R

Pelajari cara membersihkan data dengan cepat dan akurat agar Anda dapat beralih dari data mentah menjadi wawasan yang luar biasa.

Associate Data Scientist di R

Impor & Pembersihan Data  di R

Bandingkan kolom-kolom terpisah dari setiap pasangan.

Beri skor pasangan menggunakan penjumlahan atau probabilitas.

Pilih pasangan yang cocok berdasarkan skornya.

Nilai lalu pilih atau pilih lalu nilai?

Membersihkan Data di R

Latihan interaktif praktis