Aan de slagBegin gratis

Beschikbaarheid van data signaleren met een Asset-outlet

Je team heeft een pipeline die dagelijkse verkoopdata schrijft naar s3://data-lake/sales/daily.csv, en meerdere downstream-pipelines zijn daarvan afhankelijk. In plaats van dat zij met een timer pollen of gokken wanneer het bestand klaar is, koppel je een Asset-outlet zodat deze taak meteen bij afronden signaleert dat de data is bijgewerkt. Dat signaal zorgt ervoor dat andere Dags zichzelf op de data kunnen inplannen.

Voer na het voltooien van de code het bestand uit en controleer vervolgens met de Airflow CLI of de asset is geregistreerd en bijgewerkt.

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening