始める無料で始める

重複の検出

ride_sharing にデータを供給するパイプラインの更新により、各乗車を一意に識別する ride_id 列が追加されました。

ただし、この更新と同時に、平均乗車時間が極端に短くなり、ユーザーの生年月日が未来の日付に設定されるという問題が発生しました。さらに重要なことに、乗車件数が一夜にして 20% 増加しており、ride_sharing DataFrame に完全な重複と不完全な重複の両方が含まれている可能性があります。

この演習では、重複データを実際に検出して、この疑いを確かめましょう。ride_sharing のサンプルと、これまで使用してきたパッケージがすでに環境に用意されています。

この演習はコースの一部です

Pythonによるデータクリーニング

コースを見る

演習の手順

  • ride_id の ride_sharing DataFrame で keep を False に設定しながら重複行を見つけます。
  • ride_sharing を duplicates で絞り込み、ride_id で並べ替え、その結果を duplicated_rides に代入します。
  • ride_id の duration、user_birth_year、duplicated_rides 列をこの順番で出力します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Find duplicates
duplicates = ____.____(____, ____)

# Sort your duplicated rides
duplicated_rides = ride_sharing[____].____('____')

# Print relevant columns of duplicated_rides
print(duplicated_rides[['____','____','____']])
コードを編集して実行