Eksik Yüzdelerini Hesapla

Otomasyon, veri biliminin geleceği. Veri hazırlamanın bazı kısımlarını otomatikleştirmeyi öğrenmek büyük fayda sağlar. Bu egzersizde, belirli bir eşik değerin üzerinde eksik veri varsa sütunları otomatik olarak düşürmeyi (drop) yapacağız.

Bu egzersiz, kursun bir parçasıdır

PySpark ile Özellik Mühendisliği

Kursa Göz Atın

Egzersiz talimatları

df (bir dataframe) ve 0 ile 1 arasında bir threshold (eşik) alan column_dropper() adında bir fonksiyon tanımla.
where(), isNull() ve count() kullanarak eksik değerlerin yüzdesini hesapla.
Eksik yüzdesi eşik değerinden yüksekse kontrol et; yüksekse drop() kullanarak sütunu düşür.
column_dropper() fonksiyonunu df üzerinde eşik değeri .6 olacak şekilde çalıştır.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

def column_dropper(df, threshold):
  # Takes a dataframe and threshold for missing values. Returns a dataframe.
  total_records = df.____()
  for col in df.columns:
    # Calculate the percentage of missing values
    missing = df.____(df[col].____()).____()
    missing_percent = ____ / ____
    # Drop column if percent of missing is more than threshold
    if ____ > ____:
      df = df.____(col)
  return df

# Drop columns that are more than 60% missing
df = ____(____, ____)

Kodu Düzenle ve Çalıştır