Signalera datatillgänglighet med en Asset-outlet
Ditt team har en pipeline som skriver daglig försäljningsdata till s3://data-lake/sales/daily.csv, och flera nedströms-pipelines är beroende av den. I stället för att låta dem polla på ett schema eller gissa när filen är klar, lägger du till en Asset-outlet så att den här uppgiften signalerar att data har uppdaterats i samma ögonblick som den är klar. Det är den signalen som gör att andra DAG:ar kan schemalägga sig baserat på datat självt.
När du är klar med koden, kör filen och verifiera sedan att asset:en registrerades och uppdaterades via Airflow CLI.
Den här övningen är en del av kursen
Bygg datapipelines med Airflow
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen