削除しますか?
欠損値を完全に削除する前に、削除の判断材料を考慮する必要があります。最もシンプルな判断材料は、欠損データの大きさです。欠損に影響するより複雑な理由については、ドメイン知識が必要になる場合もあります。この演習では、欠損の理由を見極め、適切な削除方法を実行します。
まず msno.matrix() と msno.heatmap() を使って、欠損の状況と、欠損を含む変数間の相関を可視化します。次に、欠損のパターンを判断します。最後に、欠損の種類に応じて削除を行います。
diabetes のDataFrameはすでに読み込まれています。
出力を見やすくするため、plt.show() の代わりに独自の display() 関数を使用しています。
この演習はコースの一部です
Pythonで欠損データに対処する
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Visualize the missingness in the data
___.___(___)
# Display nullity matrix
display("/usr/local/share/datasets/matrix_diabetes.png")