動画の演習では、データ内のカテゴリ変数に影響する一般的な問題への対処方法を学びました。具体的には、カテゴリ内の空白や不一致、さらに新しいカテゴリの作成や既存のカテゴリを新しいものにマッピングする問題です。
利用できるツールをより深く理解するために、各種類の問題に対処するために使用される pandas と Python の関数・メソッドを対応付けていきます。
pandas
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、よくある汚れたデータの問題を解決する方法を学びます。データ型を変換し、範囲の制約を適用して将来のデータポイントを削除し、重複したデータポイントを削除して二重計上を防ぎます。
カテゴリーやテキストデータは、構造化されていない性質上、データセットの中でも特に問題が生じやすい部分です。この章では、カテゴリーラベルの空白や大文字・小文字の不整合を修正し、複数のカテゴリーを1つにまとめ、文字列の形式を統一する方法を学びます。
現在の演習
この章では、重さがすべてポンドではなくキログラムで記載されるようにするなど、より高度なデータクリーニングの問題に取り組みます。また、値が正しく追加されたことを検証するのに役立つ、非常に貴重なスキルも身につけ、欠損値が分析に悪影響を及ぼさないようにする方法も学びます。
レコード連結は、入力ミスや表記揺れがある場合でも複数のデータセットを統合できる強力な手法です。この章では、文字列間の類似度を計算してレコードを紐付ける方法を学び、最終的に2つのレストランレビューデータセットを一つのきれいなマスターデータセットに結合します。