Verifying Data Load

Angenommen, du erhältst jeden Monat eine neue Datei. Du rechnest mit einer bestimmten Anzahl an Datensätzen und Spalten. In dieser Übung erstellen wir eine Funktion, die die geladene Datei validiert.

Diese Übung ist Teil des Kurses

<Kurs>Feature Engineering mit PySpark</Kurs>

Kurs ansehen

Übungsanweisungen

Erstelle eine Datenvalidierungsfunktion check_load() mit den Parametern df (ein DataFrame), num_records (Anzahl der Datensätze) und num_columns (Anzahl der Spalten).
Verwende num_records, um mit count() zu prüfen, ob der Eingabe-DataFrame df die gleiche Anzahl hat.
Vergleiche die Anzahl der Spalten des Eingabe-DataFrames mit num_columns, indem du len() auf columns anwendest.
Wenn beide Prüfungen True zurückgeben, gib Validation Passed aus.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Code bearbeiten und ausführen