Verificarea încărcării datelor

Să presupunem că în fiecare lună primești un fișier nou. Știi dinainte câte înregistrări și coloane să aștepți. În acest exercițiu vei crea o funcție care validează fișierul încărcat.

Acest exercițiu face parte din cursul

Feature Engineering cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Creează o funcție de validare a datelor numită check_load(), cu parametrii df (un dataframe), num_records (numărul de înregistrări) și num_columns (numărul de coloane).
Folosind num_records, creează o verificare pentru a vedea dacă dataframe-ul de intrare df are același număr de înregistrări, folosind count().
Compară numărul de coloane al dataframe-ului de intrare cu num_columns, folosind len() pe columns.
Dacă ambele verificări returnează True, afișează Validation Passed

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Editează și rulează codul