Skapa en partitionerad pipeline
En vanlig asset-händelse talar om för nedströmsanvändare att "något har ändrats", men inte vilken del av datan som berörs. I praktiken behöver rapporterings- och analysteam oftast bara bearbeta om den partition som faktiskt ändrades – till exempel en enskild dag – i stället för att köra om allt. Asset Partitions skickar partitionsnyckeln vidare nedströms så att konsumenterna kan reagera på exakt rätt dataskiva. I den här övningen schemalägger du din säljpipeline med ett dagligt partitionstidsschema och skickar ut en partitionerad daily_sales-händelse vid varje körning.
Den här övningen är en del av kursen
Bygg datapipelines med Airflow
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen