Signalizace dostupnosti dat pomocí Asset outlet
Tvůj tým má pipeline, která každý den zapisuje data o prodejích do s3://data-lake/sales/daily.csv, a několik navazujících pipeline na ní závisí. Místo toho, aby se periodicky dotazovaly na časovači nebo hádaly, kdy je soubor připravený, přidáš Asset outlet – ten v okamžiku dokončení úlohy signalizuje, že data byla aktualizována. Právě tento signál umožňuje dalším Dagům plánovat spouštění na základě samotných dat.
Po dokončení kódu soubor spusť a pak pomocí Airflow CLI ověř, že byl asset zaregistrován a aktualizován.
Toto cvičení je součástí kurzu
Tvorba datových pipeline s Airflow
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení