在本章中，你會學到如何解決一些最常見的骯髒資料問題。你會轉換資料型別、套用範圍限制以移除未來時間點的資料，並移除重複的資料點以避免重複計算。

資料型別限制

常見資料型別

數值資料還是……？

字串相加與數字串接的陷阱

資料範圍限制

輪胎尺寸範圍限制

回到未來

唯一性限制

你的子集有多大？

尋找重複值

處理重複值

常見資料問題

由於非結構化特性，類別與文字資料常是資料集裡最雜亂的部分。在本章中，你會學到如何修正類別標籤的空白與大小寫不一致、將多個類別合併為一個，以及重新格式化字串以維持一致性。

成員資格限制

限會員

尋找一致性

類別變數

錯誤的類別

不一致的類別

重新對映類別

清理文字資料

移除稱謂並擷取姓名

維持描述性

文字與類別資料問題

在本章中，你將深入處理更進階的資料清理問題，例如確保重量一律使用公斤而非磅。你也會習得寶貴技巧，幫助你驗證數值是否正確相加，並確保遺漏值不會對你的分析造成負面影響。

一致性

不明確的日期

貨幣格式一致化

統一日期格式

跨欄位驗證

選項

非跨欄位驗證

跨欄位，還是非跨欄位？

資料完整性如何？

完整性

這是隨機遺漏嗎？

遺漏的投資人

追蹤資金流向

進階資料問題

紀錄連結是一種強大的技術，用於合併多個資料集，特別是在數值含有錯字或不同拼法時。在本章中，你會學到如何透過計算字串相似度來連結紀錄，接著運用新技巧把兩個餐廳評論資料集合併為一個乾淨的主資料集。

比較字串

最小編輯距離

臨界值

重新對應類別 II

產生配對組合

要連結，還是不連結？

餐廳配對組合

相似的餐廳

連結 DataFrame

取得正確的索引

把它們連起來！

恭喜你！

紀錄連結

Airlines dataset

Course Glossary

Restaurants dataset II

Restaurants dataset

Ride sharing dataset

Banking dataset

常有人說，資料科學家有 80% 的時間在清理與處理資料，只有 20% 的時間在分析。清理資料的時間非常關鍵，因為在骯髒資料上做分析，容易導致錯誤結論。

影片提供即時字幕，你可以按一下影片左下角的「Show transcript」來顯示。
課程名詞表可在右側的資源區找到。
若要取得 CPE 學分，你需要完成課程，並在合格測驗中取得 70% 的分數。你可以點選右側的 CPE 學分提示前往該測驗。

資料清理是資料科學中不可或缺的任務。若沒有妥善清理，任何資料分析或機器學習模型的結果都可能不精確。這門課會帶你在 Python 中辨識、診斷並處理各式各樣的資料清理問題，從基礎到進階。你會處理不正確的資料型別、檢查資料是否落在正確範圍、處理遺漏值、進行紀錄連結等更多內容！

<h2>探索如何在 Python 中清理資料</h2>
人們常說，資料科學家有 80% 的時間都在清理和處理資料，只有 20% 的時間用於分析資料。 資料清理是每位資料科學家不可或缺的步驟，因為分析未經清理的資料可能會導致不正確的結論。 
<br><br>
在本課程中，您將學習如何在 Python 中識別、診斷並處理各種資料清理問題，涵蓋從基礎到進階的內容。 您將處理不正確的資料型別、檢查資料是否在正確範圍內、處理遺漏資料、執行記錄連結等多項任務！<br><br>
<h2>學習如何清理各種資料類型</h2>
本課程的第一章將探討常見的資料問題，以及您可以如何解決這些問題。 您將首先了解基本資料型別，以及如何分別處理這些資料型別。 接下來，您將應用範圍限制並移除重複的資料點。
<br><br>
最後一章將探討記錄連結，這是一項能夠合併多個資料集的強大工具。 您將學習如何透過計算字串相似度來連結紀錄。 最後，您將運用新學到的技能，將兩個餐廳評論資料集合併成一個乾淨的主資料集。
<br><br>
<h2>建立清理資料的自信</h2>
在本課程結束時，您將具備信心處理各類型的資料清理，並運用紀錄連結技術合併多個資料集。 清理資料是資料科學家必備的重要技能。 如果您想進一步了解如何在 Python 中清理資料及其應用，請參考以下課程路徑： Python 資料科學家與使用 Python 匯入與清理資料

Python Toolbox

Joining Data with pandas

在這四小時課程中掌握Python數據清理，學習解決常見及進階數據問題和記錄連結。

用 Python 進行資料清理

學會診斷與處理 dirty data，將原始資料轉化為精確洞見的關鍵技能！

助理資料科學家  使用 Python

資料工程師 使用 Python

資料匯入與清理  使用 Python

不明確的日期

用 Python 進行資料清理

動手互動練習