Eksik Veriyi Görselleştirme

Eksik değerleri görselleştirebilmek, verinin ne kadarının eksik olduğunu hızla anlamanın harika bir yoludur. Ayrıca, değişkenlerin belirli bir örüntüyle eksik olduğu durumları da ortaya çıkarabilir; bu da, modelinin önyargılı olmaması için dikkatle ele alınması gereken bir durumdur.

Hangi değişkende en fazla eksik değer var? Yanıtı bulmak için son satır hariç tüm kod satırlarını çalıştır. Emin olduğunda, değeri doldur ve "Submit Answer"a bas.

Bu egzersiz, kursun bir parçasıdır

PySpark ile Özellik Mühendisliği

Kursa Göz Atın

Egzersiz talimatları

select() kullanarak df veri çerçevesini columns sütun listesiyle alt kümeye ayır ve verilen sample() işleviyle örnekle. Bu veri çerçevesini sample_df değişkenine ata.
Alt kümeyi bir pandas veri çerçevesi pandas_dfye dönüştür ve pandas'ın isnull() fonksiyonuyla bu DataFramei True/False'a çevir. Sonucu tf_df içinde sakla.
Seaborn'un heatmap() fonksiyonunu kullanarak tf_dfyi görselleştir.
Grafiği görmek için "Kodu Çalıştır"a bas. Ardından en çok eksik değere sahip değişkenin adını answera ata.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()

# Convert all values to T/F
tf_df = ____.____()

# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()

# Set the answer to the column with the most missing data
answer = '____'

Kodu Düzenle ve Çalıştır