Verifica del caricamento dei dati

Supponiamo che ogni mese tu riceva un nuovo file. Ti aspetti un certo numero di record e colonne. In questo esercizio creeremo una funzione che convalidi il file caricato.

Questo esercizio fa parte del corso

Feature Engineering con PySpark

Visualizza corso

Istruzioni dell'esercizio

Crea una funzione di validazione dei dati check_load() con parametri df (un dataframe), num_records come numero di record e num_columns come numero di colonne.
Usando num_records, crea un controllo per verificare che il dataframe di input df abbia lo stesso numero tramite count().
Confronta il numero di colonne che ha il dataframe di input con num_columns usando len() su columns.
Se entrambi restituiscono True, allora stampa Validation Passed

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Modifica ed esegui il codice