Weryfikacja załadowania danych

Załóżmy, że co miesiąc otrzymujesz nowy plik. Wiesz, jakiej liczby rekordów i kolumn się spodziewać. W tym ćwiczeniu utworzysz funkcję, która będzie sprawdzać poprawność załadowanego pliku.

To ćwiczenie jest częścią kursu

Inżynieria cech z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Utwórz funkcję walidacyjną check_load() z parametrami: df – ramka danych, num_records – oczekiwana liczba rekordów oraz num_columns – oczekiwana liczba kolumn.
Używając num_records, sprawdź, czy wejściowa ramka danych df zawiera taką samą liczbę rekordów – skorzystaj z count().
Porównaj liczbę kolumn wejściowej ramki danych z num_columns, używając len() na columns.
Jeśli oba warunki zwrócą True, wyświetl komunikat Validation Passed.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Edytuj i uruchom kod