De juiste kwaliteitsmetriek kiezen
Een junior engineer bij Global Retail Analytics draait de schoonmaakpipeline op een nieuwe online_retail-upload maar zet per ongeluk de regel na.drop(subset=["CustomerID"]) in commentaar. De overige stappen - na.fill(), dropDuplicates() en de filter voor ongeldige records - draaien allemaal zonder fouten.
Welke kwaliteitscontrolemetriek zou de fout meteen aan het licht brengen?
Deze oefening maakt deel uit van de cursus
Gegevens transformeren met Spark SQL in Databricks
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening