本章将带您解决一些最常见的脏数据问题。您会转换数据类型、应用取值范围约束以移除未来时间点的数据，并删除重复记录以避免重复计数。

数据类型约束

常见数据类型

数值型数据还是……？

字符串相加与数字拼接

数据范围约束

轮胎尺寸约束

回到未来

唯一性约束

您的子集有多大？

查找重复项

处理重复值

常见数据问题

由于非结构化特性，分类和文本数据往往最为杂乱。本章将带您修复类别标签中的空白与大小写不一致问题、将多个类别合并为一类，并重新格式化字符串以保持一致性。

成员约束

仅限成员

查找一致性

分类变量

错误的类别

不一致的类别

重新映射类别

清洗文本数据

去除称谓并提取姓名

保持描述性

文本与分类数据问题

本章将深入更高级的数据清洗问题，例如确保所有重量都以千克而非磅表示。您还将掌握重要技能，用于核验数值是否被正确相加，并确保缺失值不会对您的分析造成不利影响。

一致性

含糊不清的日期

统一货币

统一日期格式

跨字段校验

选项

非跨字段校验

跨字段，还是非跨字段？

我们的数据完整性如何？

完整性

这是随机缺失吗？

缺失的投资者

顺藤摸"资"

高级数据问题

记录链接是一种强大的技术，可在存在错别字或不同拼写时合并多个数据集。本章将带您通过计算字符串相似度来链接记录，随后运用这些技能将两个餐厅点评数据集合并为一个干净的主数据集。

比较字符串

最小编辑距离

阈值（cutoff point）

重新映射类别 II

生成配对

链接还是不链接？

餐馆配对

相似的餐厅

链接 DataFrame

获取正确的索引

把它们链接起来！

恭喜您！

记录链接

Airlines dataset

Course Glossary

Restaurants dataset II

Restaurants dataset

Ride sharing dataset

Banking dataset

人们常说，数据科学家有 80% 的时间在清洗和整理数据，只有 20% 的时间用于分析。清洗阶段至关重要，因为在"脏数据"上做分析会导致错误结论。

视频提供实时字幕，您可点击视频左下角的 "Show transcript" 展开查看。
课程术语表位于右侧的资源区。
若要获得 CPE 学分，您需要完成课程并在合格测评中达到 70% 的得分。您可以点击右侧的 CPE 学分提示进入测评。

数据清洗是数据科学中的基础任务。若数据未被妥善清洗，任何数据分析或机器学习模型的结果都可能不准确。在本课程中，您将学习如何在 Python 中识别、诊断并处理各种数据清洗问题，从基础到进阶。您将处理不正确的数据类型、检查数据是否在合理范围内、应对缺失数据、执行记录链接等。

<h2>了解如何在 Python 中清洗数据</h2>
人们常说，数据科学家80%的时间都在清洗和处理数据，只有20%的时间用于分析数据。 数据清洗是每位数据科学家的必备步骤，因为分析脏数据可能会导致不准确的结论。 
<br><br>
在本课程中，你将学习如何在 Python 中识别、诊断并处理各种数据清洗问题，从简单到高级。 你将处理不正确的数据类型，检查数据是否处于正确范围，处理缺失数据，执行记录链接，以及更多内容！<br><br>
<h2>学习如何清理不同类型的数据</h2>
课程的第一章探讨常见的数据问题以及你可以如何修复它们。 你将首先了解基本数据类型，以及如何分别处理它们。 之后，你将应用范围约束并删除重复的数据点。
<br><br>
最后一章探讨记录链接，这是一种用于合并多个数据集的强大工具。 你将学习如何通过计算字符串之间的相似度来关联记录。 最后，你将运用新学到的技能，把两个餐厅评论数据集合并为一个干净的主数据集。
<br><br>
<h2>掌握数据清洗的信心</h2>
在课程结束时，您将有信心清理各种类型的数据，并使用记录链接来合并多个数据集。 数据清洗是数据科学家的一项必备技能。 如果你想进一步了解如何在 Python 中清洗数据及其应用，请查看以下学习路径： 使用 Python 的数据科学家以及使用 Python 导入和清洗数据。

Python Toolbox

Joining Data with pandas

在这个四小时课程中掌握Python数据清理，学习解决常见和高级数据问题及记录链接。

Python 数据清洗

学习诊断和处理脏数据，并掌握将原始数据转化为准确洞察所需的技能！

数据科学家助理  在 Python 中

数据工程师 在 Python 中

导入与清洗数据  在 Python 中

含糊不清的日期

Python 数据清洗

动手互动练习