Beschikbaarheid van data signaleren met een Asset-outlet
Je team heeft een pipeline die dagelijkse verkoopdata schrijft naar s3://data-lake/sales/daily.csv, en meerdere downstream-pipelines zijn daarvan afhankelijk. In plaats van dat zij met een timer pollen of gokken wanneer het bestand klaar is, koppel je een Asset-outlet zodat deze taak meteen bij afronden signaleert dat de data is bijgewerkt. Dat signaal zorgt ervoor dat andere Dags zichzelf op de data kunnen inplannen.
Voer na het voltooien van de code het bestand uit en controleer vervolgens met de Airflow CLI of de asset is geregistreerd en bijgewerkt.
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening