De online retail-gegevensset opschonen
Je bent data-engineer bij Global Retail Analytics. Je manager heeft kwaliteitsproblemen gesignaleerd in de gegevensset online_retail — ontbrekende klant-ID's, dubbele rijen en geannuleerde orders vertekenen de wekelijkse rapportages.
Voordat je met de analyse kunt beginnen, moet je een expliciet schema definiëren, de datakwaliteitsproblemen diagnosticeren en een opschoningspipeline bouwen die ongeldige records verwijdert.
Deze oefening maakt deel uit van de cursus
Gegevens transformeren met Spark SQL in Databricks
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening