欠損値の可視化
欠損値をプロットできると、データのどれくらいが欠損しているかを素早く把握できます。変数ごとに規則的な欠損がないかも見えてくるため、バイアスを避けるための丁寧な対応が必要かどうかの判断にも役立ちます。
どの変数が最も多く欠損していますか？最後の行以外のすべてのコードを実行して答えを確認してください。確信が持てたら、値を入力して"Submit Answer"を押してください。
この演習はコースの一部です
PySparkで学ぶ特徴量エンジニアリング
演習の手順
select()を使って、データフレームdfから列リストcolumnsを抽出し、与えられたsample()関数でサンプリングして、結果のデータフレームを変数sample_dfに代入します。- サブセット化したデータフレームを
pandasのデータフレームpandas_dfに変換し、pandasのisnull()を使ってDataFrameを True/False に変換します。結果をtf_dfに保存します。 - seaborn の
heatmap()を使ってtf_dfをプロットします。 - プロットを確認するには"Run Code"を押してください。次に、最も欠損が多い変数名を
answerに代入します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()
# Convert all values to T/F
tf_df = ____.____()
# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()
# Set the answer to the column with the most missing data
answer = '____'