ÎncepețiÎncepe gratuit

Configurarea unui senzor pentru producție

Pipeline-ul tău folosește un FileSensor pentru a aștepta un raport CSV înainte de a-l procesa. În modul implicit poke, senzorul ocupă un slot de worker pe toată durata așteptării, chiar și atunci când fișierul întârzie câteva minute.

Pentru producție, un senzor ar trebui să elibereze slotul între verificări și să aibă un timeout de siguranță, astfel încât să nu aștepte la nesfârșit.

Acest exercițiu face parte din cursul

Construirea pipeline-urilor de date cu Airflow

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul