Ověření načtení dat

Představ si, že každý měsíc dostaneš nový soubor. Víš, kolik záznamů a sloupců má obsahovat. V tomto cvičení vytvoříš funkci, která ověří, zda byl soubor načten správně.

Toto cvičení je součástí kurzu

Feature Engineering with PySpark

Zobrazit kurz

Pokyny k cvičení

Vytvoř validační funkci check_load() s parametry df pro datový rámec, num_records pro počet záznamů a num_columns pro počet sloupců.
Pomocí num_records over, jestli má vstupní datový rámec df stejný počet záznamů – použij metodu count().
Porovnej počet sloupců vstupního datového rámce s hodnotou num_columns pomocí len() na columns.
Pokud obě kontroly vrátí True, vypiš Validation Passed

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Upravit a spustit kód