Schemaläggning på partitionerade assets
Nu när den uppströmliggande Dag:en skickar ut partitionerade daily_sales-händelser kan rapporterings-Dag:en reagera på dem automatiskt – den körs bara för den partition som precis uppdaterades, i stället för att bearbeta alla datum på nytt. Uppströmskällan skickar en fullständig tidsstämpel, men rapporten bryr sig bara om kalenderdatumet. Det är precis det som StartOfDayMapper är till för: att normalisera den nyckeln. I den här övningen schemalägger du nedströmsrapporten på det partitionerade assetet och mappar varje händelse till sin dag.
Uppströmsdelen är förifylld i filen för att ge sammanhang, och i nästa övning ser du hur båda Dag:arna samverkar.
Den här övningen är en del av kursen
Bygg datapipelines med Airflow
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen