Configurarea unui senzor pentru producție
Pipeline-ul tău folosește un FileSensor pentru a aștepta un raport CSV înainte de a-l procesa. În modul implicit poke, senzorul ocupă un slot de worker pe toată durata așteptării, chiar și atunci când fișierul întârzie câteva minute.
Pentru producție, un senzor ar trebui să elibereze slotul între verificări și să aibă un timeout de siguranță, astfel încât să nu aștepte la nesfârșit.
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul