Controleren of de data is geladen

Stel, je krijgt elke maand een nieuw bestand. Je verwacht een bepaald aantal records en kolommen. In deze oefening maak je een functie die controleert of het geladen bestand klopt.

Deze oefening maakt deel uit van de cursus

Feature Engineering met PySpark

Bekijk cursus

Oefeninstructies

Maak een datavalidatiefunctie check_load() met parameters: df (een dataframe), num_records (het aantal records) en num_columns (het aantal kolommen).
Gebruik num_records om te controleren of het ingevoerde dataframe df evenveel rijen heeft met count().
Vergelijk het ingevoerde aantal kolommen van het dataframe met num_columns door len() te gebruiken op columns.
Als beide controles True opleveren, print dan Validation Passed

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Code bewerken en uitvoeren