ÎncepețiÎncepe gratuit

Semnalizarea disponibilității datelor cu un outlet Asset

Echipa ta are un pipeline care scrie date zilnice de vânzări în s3://data-lake/sales/daily.csv, iar mai multe pipeline-uri din aval depind de acesta. În loc să verifice periodic sau să ghicească când fișierul este gata, vei atașa un outlet Asset, astfel încât task-ul să semnalizeze că datele au fost actualizate imediat ce se termină execuția. Acest semnal le permite altor DAG-uri să se programeze în funcție de date.

După ce completezi codul, rulează fișierul, apoi verifică dacă asset-ul a fost înregistrat și actualizat folosind CLI-ul Airflow.

Acest exercițiu face parte din cursul

Construirea pipeline-urilor de date cu Airflow

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul