Vérifier le chargement des données

Supposons que vous receviez un nouveau fichier chaque mois. Vous vous attendez à un certain nombre d'enregistrements et de colonnes. Dans cet exercice, nous allons créer une fonction qui validera le fichier chargé.

Cette activité fait partie du cours

Ingénierie des caractéristiques avec PySpark

Voir le cours

Instructions de l’exercice

Créez une fonction de validation des données check_load() avec les paramètres df (un DataFrame), num_records (le nombre d'enregistrements) et num_columns (le nombre de colonnes).
À l'aide de num_records, vérifiez si le DataFrame d'entrée df a le même nombre avec count().
Comparez le nombre de colonnes du DataFrame d'entrée avec num_columns en utilisant len() sur columns.
Si ces deux vérifications renvoient True, affichez Validation Passed

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Modifier et exécuter le code