Kom igångKom igång gratis

Schemaläggning på partitionerade assets

Nu när den uppströmliggande Dag:en skickar ut partitionerade daily_sales-händelser kan rapporterings-Dag:en reagera på dem automatiskt – den körs bara för den partition som precis uppdaterades, i stället för att bearbeta alla datum på nytt. Uppströmskällan skickar en fullständig tidsstämpel, men rapporten bryr sig bara om kalenderdatumet. Det är precis det som StartOfDayMapper är till för: att normalisera den nyckeln. I den här övningen schemalägger du nedströmsrapporten på det partitionerade assetet och mappar varje händelse till sin dag.

Uppströmsdelen är förifylld i filen för att ge sammanhang, och i nästa övning ser du hur båda Dag:arna samverkar.

Den här övningen är en del av kursen

Bygg datapipelines med Airflow

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen