Semnalizarea disponibilității datelor cu un outlet Asset
Echipa ta are un pipeline care scrie date zilnice de vânzări în s3://data-lake/sales/daily.csv, iar mai multe pipeline-uri din aval depind de acesta. În loc să verifice periodic sau să ghicească când fișierul este gata, vei atașa un outlet Asset, astfel încât task-ul să semnalizeze că datele au fost actualizate imediat ce se termină execuția. Acest semnal le permite altor DAG-uri să se programeze în funcție de date.
După ce completezi codul, rulează fișierul, apoi verifică dacă asset-ul a fost înregistrat și actualizat folosind CLI-ul Airflow.
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul