Verifiera inläst data

Anta att du varje månad får en ny fil. Du vet hur många poster och kolumner du förväntar dig. I den här övningen skapar du en funktion som validerar den inlästa filen.

Den här övningen är en del av kursen

Feature Engineering med PySpark

Visa kurs

Övningsinstruktioner

Skapa en valideringsfunktion check_load() med parametrarna df för en dataframe, num_records för antal poster och num_columns för antal kolumner.
Använd num_records för att kontrollera om indataramen df har samma antal rader med hjälp av count().
Jämför det angivna antalet kolumner med det antal kolumner som df har, genom att använda len() på columns.
Om båda kontrollerna returnerar True, skriv ut Validation Passed

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Redigera och kör kod