Veri Yüklemesini Doğrulama

Diyelim ki her ay yeni bir dosya alıyorsun. Belirli sayıda kayıt ve sütun bekliyorsun. Bu egzersizde, yüklenen dosyayı doğrulayacak bir fonksiyon oluşturacağız.

Bu egzersiz, kursun bir parçasıdır

PySpark ile Özellik Mühendisliği

Kursa Göz Atın

Egzersiz talimatları

df bir dataframe, num_records kayıt sayısı ve num_columns sütun sayısı olacak şekilde parametreleri df, num_records ve num_columns olan bir veri doğrulama fonksiyonu check_load() oluştur.
num_records değerini kullanarak, girilen dataframe df'in count() sonucu ile aynı sayıda kayda sahip olup olmadığını kontrol et.
Girdi dataframe'inin sütun sayısını columns üzerinde len() kullanarak num_columns ile karşılaştır.
Her ikisi de True dönerse Validation Passed yazdır

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Kodu Düzenle ve Çalıştır