Choisir la bonne métrique de qualité
Un ingénieur junior chez Global Retail Analytics exécute le pipeline de nettoyage sur un nouveau dépôt online_retail, mais commente par erreur la ligne na.drop(subset=["CustomerID"]). Les étapes restantes — na.fill(), dropDuplicates() et le filtre d'enregistrements non valides — s'exécutent sans erreur.
Quelle mesure de contrôle de la qualité révélerait immédiatement l'erreur?
Cette activité fait partie du cours
Transformation des données avec Spark SQL dans Databricks
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice