このコースでは、範囲制約、データ型制約、統一性など、さまざまなデータクリーニングの問題に取り組んできました。
このレッスンでは、データの整合性を確認する手段として、クロスフィールドバリデーションを学びました。
次に、さまざまな概念や手法を該当するカテゴリに分類しましょう。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、よくある汚れたデータの問題を解決する方法を学びます。データ型を変換し、範囲の制約を適用して将来のデータポイントを削除し、重複したデータポイントを削除して二重計上を防ぎます。
カテゴリーやテキストデータは、構造化されていない性質上、データセットの中でも特に問題が生じやすい部分です。この章では、カテゴリーラベルの空白や大文字・小文字の不整合を修正し、複数のカテゴリーを1つにまとめ、文字列の形式を統一する方法を学びます。
この章では、重さがすべてポンドではなくキログラムで記載されるようにするなど、より高度なデータクリーニングの問題に取り組みます。また、値が正しく追加されたことを検証するのに役立つ、非常に貴重なスキルも身につけ、欠損値が分析に悪影響を及ぼさないようにする方法も学びます。
現在の演習
レコード連結は、入力ミスや表記揺れがある場合でも複数のデータセットを統合できる強力な手法です。この章では、文字列間の類似度を計算してレコードを紐付ける方法を学び、最終的に2つのレストランレビューデータセットを一つのきれいなマスターデータセットに結合します。
