Când să folosești poke, reschedule sau deferrable
Echipa ta analizează configurațiile senzorilor din trei pipeline-uri:
- Pipeline A: Un senzor verifică existența unui fișier care de obicei apare în 10 secunde de la pornirea DAG-ului.
- Pipeline B: Un senzor așteaptă un feed de date de la un partener, care sosește în cadrul unei ferestre de 4 ore. Există 20 de senzori similari care rulează concurent.
- Pipeline C: Un senzor verifică un endpoint API la fiecare 2 minute și de obicei așteaptă 15 minute.
Care combinație de moduri de senzori se potrivește cel mai bine?
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul