Kom igångKom igång gratis

Signalera datatillgänglighet med en Asset-outlet

Ditt team har en pipeline som skriver daglig försäljningsdata till s3://data-lake/sales/daily.csv, och flera nedströms-pipelines är beroende av den. I stället för att låta dem polla på ett schema eller gissa när filen är klar, lägger du till en Asset-outlet så att den här uppgiften signalerar att data har uppdaterats i samma ögonblick som den är klar. Det är den signalen som gör att andra DAG:ar kan schemalägga sig baserat på datat självt.

När du är klar med koden, kör filen och verifiera sedan att asset:en registrerades och uppdaterades via Airflow CLI.

Den här övningen är en del av kursen

Bygg datapipelines med Airflow

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen