在本章中，你會學到如何解決最常見的髒資料問題。你會轉換資料型別、套用範圍限制來移除不合理的未來時間點，並移除重複的資料點以避免重複計數。

資料型別限制

常見資料型別

轉換資料型別

修剪字串

範圍限制

騎乘時間的範圍限制

回到未來

唯一性限制

完整重複

移除部分重複值

彙總部分重複的資料

常見的資料問題

由於非結構化的特性，類別與文字資料常是資料集中最凌亂的部分。在本章中，你會學到如何修正類別標籤中的空白與大小寫不一致、將多個類別合併為一個，以及重新格式化字串以維持一致性。

檢查成員資格

限會員

非成員

類別資料的常見問題

辨識不一致

修正不一致

合併類別

清理文字資料

偵測不一致的文字資料

取代與移除

無效的電話號碼

類別與文字資料

在本章中，你會深入探討更進階的資料清理問題，例如確保重量都以公斤而非磅來表示。你也會學到關鍵技巧，幫助你驗證數值是否正確填入，並避免遺漏值對分析造成不良影響。

一致性

日期一致性

貨幣一致性

跨欄位驗證

驗證總額

驗證年齡

完整性

選項

完全隨機缺失

隨機缺失

非隨機缺失

缺失型態

視覺化遺漏值

處理遺漏資料

進階資料問題

Record linkage 是一種強大的技術，用於在數值存在錯字或不同拼法時，將多個資料集合併。這一章中，你會學到如何透過計算字串相似度來連結紀錄，接著運用新學到的技能，把兩個餐廳評論資料集合併成一個乾淨的主資料集。

比較字串

計算距離

距離小，差異小

用字串距離修正拼字錯誤

產生並比較配對

連結還是連接（join）？

成對分組（Pair blocking）

比較配對

評分與連結

先評分再篩選，還是先篩選再評分？

整合起來

恭喜！

Record Linkage

Bike Sharing

Fodor's

Zagat

SFO Satisfaction Survey

Customer Accounts

<h2>克服常見的資料問題，例如在 R 中移除重複值</h2>
大家常說，資料科學家有 80% 的時間在清理與處理資料，只有 20% 的時間在做分析。清理階段至關重要，因為用髒資料做分析會導致錯誤的結論。
<br><br>
在本課程中，你會學到多種在 R 中清理髒資料的技巧。你會先從轉換資料型別、套用數值範圍限制，以及處理完整與部分重複，避免重複計數開始。
<br><br>
<h2>深入進階的資料挑戰</h2>
當你練習處理常見的資料問題之後，會進一步挑戰更進階的主題，例如確保量測的一致性，以及處理遺漏值。每介紹一個新觀念，你都能透過動手做的練習來鞏固知識並累積經驗。
<br><br>
<h2>學習在資料清理中使用 Record Linkage</h2>
Record Linkage 用於在數值有錯字或不同拼法時，將多個資料集合併在一起。你會在最後一章探索這個實用技巧，並實作將兩個餐廳評論資料集合併為單一資料集。

<h2>克服常見資料問題，例如在 R 中移除重複值</h2>
人們常說，資料科學家有 80% 的時間都在清理和處理資料，只有 20% 的時間用於分析資料。 花時間進行資料清理非常重要，因為分析未經清理的資料可能會導致得出不正確的結論。
<br><br>
在本課程中，您將學習多種使用 R 清理髒資料的技巧。您將從轉換資料型別、套用範圍限制，以及處理完整與部分重複值以避免重複計算開始。
<br><br>
<h2>深入探索進階資料挑戰</h2>
在練習處理常見的資料問題後，您將進一步挑戰更進階的議題，例如確保測量的一致性以及處理遺漏資料。 在每學習一個新概念後，您都將有機會完成實作練習，鞏固知識並累積實戰經驗。
<br><br>
<h2>學習在資料清理過程中運用記錄連結技術</h2>
Record Linkage 用於在資料集之間進行合併，當數值存在拼寫錯誤或不同拼寫方式等問題時，能有效處理這些情況。 您將在最後一章學習這個實用的技術，並透過實際操作，將兩個餐廳評論資料集合併成一個資料集，來練習其應用。

Joining Data with dplyr

學習快速準確地清理數據，助企業從原始數據獲得卓越洞察。

R 的資料清理

學習如何快速且精確地清理資料，讓你從原始資料迅速獲得深刻洞見。

助理資料科學家 在 R 中

資料匯入與清理  在 R 中

問卷在郵寄過程中被隨機遺失。

某一學區的學生測驗分數遺漏，但其他學區沒有。

年輕人較不常在看診時量血壓，因此他們的病歷中較常缺少血壓資料。

秤重器的上限是 30 磅，因此 30 磅以上的貨件沒有記錄到重量。

在夜班抽驗的血液樣本更容易受到污染，導致檢驗結果遺漏，但並未記錄檢驗時間。

缺失型態

R 的資料清理

動手互動練習