Vérifier le chargement des données

Supposons que vous receviez un nouveau fichier chaque mois. Vous vous attendez à un certain nombre d’enregistrements et de colonnes. Dans cet exercice, nous allons créer une fonction qui validera le fichier chargé.

Cet exercice fait partie du cours

<cours>Feature Engineering avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Créez une fonction de validation des données check_load() avec les paramètres suivants : df pour le DataFrame, num_records pour le nombre d’enregistrements et num_columns pour le nombre de colonnes.
À l’aide de num_records, vérifiez si le DataFrame d’entrée df contient le même nombre de lignes via count().
Comparez le nombre de colonnes attendu num_columns avec le nombre de colonnes du DataFrame d’entrée en utilisant len() sur columns.
Si ces deux vérifications renvoient True, alors affichez Validation Passed

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Modifier et exécuter le code