Začněte nyníZačněte zdarma

Signalizace dostupnosti dat pomocí Asset outlet

Tvůj tým má pipeline, která každý den zapisuje data o prodejích do s3://data-lake/sales/daily.csv, a několik navazujících pipeline na ní závisí. Místo toho, aby se periodicky dotazovaly na časovači nebo hádaly, kdy je soubor připravený, přidáš Asset outlet – ten v okamžiku dokončení úlohy signalizuje, že data byla aktualizována. Právě tento signál umožňuje dalším Dagům plánovat spouštění na základě samotných dat.

Po dokončení kódu soubor spusť a pak pomocí Airflow CLI ověř, že byl asset zaregistrován a aktualizován.

Toto cvičení je součástí kurzu

Tvorba datových pipeline s Airflow

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení