In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Memeriksa keanggotaan

Opsi

Batasan keanggotaan

Batasan lain

Hanya untuk anggota

Bukan anggota

Masalah data kategorikal

Mengidentifikasi inkonsistensi

Mengoreksi ketidakkonsistenan

Menggabungkan kategori

Membersihkan data teks

Mendeteksi data teks yang tidak konsisten

Mengganti dan menghapus

Nomor telepon tidak valid

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformity

Date uniformity

Currency uniformity

Cross field validation

Validating totals

Validating age

Completeness

Types of missingness

Visualizing missing data

Treating missing data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Calculating distance

Small distance, small difference

Fixing typos with string distance

Generating and comparing pairs

Link or join?

Pair blocking

Comparing pairs

Scoring and linking

Score then select or select then score?

Putting it together

Congratulations!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Atasi Masalah Data Umum seperti Menghapus Duplikat di R</h2>
Sering dikatakan bahwa data scientist menghabiskan 80% waktunya untuk membersihkan dan memanipulasi data, dan hanya 20% untuk menganalisisnya. Waktu untuk pembersihan ini sangat penting karena menganalisis data kotor dapat membuat Anda menarik kesimpulan yang keliru.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membantu membersihkan data kotor menggunakan R. Anda akan mulai dengan mengonversi tipe data, menerapkan batasan rentang, serta menangani duplikat penuh dan parsial untuk menghindari penghitungan ganda.
<br><br>
<h2>Dalami Tantangan Data Lanjutan</h2>
Setelah berlatih menangani masalah data yang umum, Anda akan berlanjut ke tantangan yang lebih lanjut seperti memastikan konsistensi satuan pengukuran dan menangani data hilang. Setelah setiap konsep baru, Anda akan berkesempatan mengerjakan latihan praktik untuk memperkuat pengetahuan dan membangun pengalaman Anda.
<br><br>
<h2>Pelajari Penggunaan Record Linkage Saat Membersihkan Data</h2>
Record Linkage digunakan untuk menggabungkan himpunan data ketika nilainya bermasalah, seperti salah ketik atau ejaan yang berbeda. Anda akan mengeksplorasi teknik bermanfaat ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua himpunan data ulasan restoran menjadi satu himpunan data.

<h2>Atasi Masalah Data Umum Seperti Menghapus Duplikat di R </h2>
Sering dikatakan bahwa ilmuwan data menghabiskan 80% waktu mereka untuk membersihkan dan memanipulasi data, dan hanya 20% waktu mereka untuk menganalisisnya. Waktu yang dihabiskan untuk membersihkan data sangat penting, karena menganalisis data yang kotor dapat membuat Anda menarik kesimpulan yang tidak akurat.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membersihkan data kotor menggunakan R. Anda akan memulai dengan mengubah tipe data, menerapkan batasan rentang, dan menangani duplikat penuh dan sebagian untuk menghindari penghitungan ganda.
<br><br>
<h2>Menyelami Tantangan Data Tingkat Lanjut </h2>
Setelah Anda berlatih menangani masalah data umum, Anda akan beralih ke tantangan yang lebih kompleks, seperti memastikan konsistensi dalam pengukuran dan menangani data yang hilang. Setelah setiap konsep baru, Anda akan memiliki kesempatan untuk menyelesaikan latihan praktis untuk memperkuat pemahaman Anda dan mengembangkan pengalaman Anda.
<br><br>
<h2>Pelajari Cara Menggunakan Rekoneksi Data Selama Pembersihan Data </h2>
Rekonsiliasi Data digunakan untuk menggabungkan dataset ketika nilai-nilai dalam dataset tersebut memiliki masalah seperti kesalahan ketik atau perbedaan ejaan. Anda akan mempelajari teknik berguna ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua dataset ulasan restoran menjadi satu dataset tunggal.

Joining Data with dplyr

Pelajari cara membersihkan data dengan cepat dan akurat untuk mengubah data mentah jadi wawasan hebat.

Membersihkan Data di R

Pelajari cara membersihkan data dengan cepat dan akurat agar Anda dapat beralih dari data mentah menjadi wawasan yang luar biasa.

Associate Data Scientist di R

Impor & Pembersihan Data  di R

Mengidentifikasi inkonsistensi

Membersihkan Data di R

Latihan interaktif langsung praktik