När du ska använda poke, reschedule eller deferrable
Ditt team granskar sensorkonfigurationer i tre pipelines:
- Pipeline A: En sensor kontrollerar om en fil har anlänt – den brukar dyka upp inom 10 sekunder efter att DAG:en startar.
- Pipeline B: En sensor väntar på ett dataflöde från en partner som anländer någon gång inom ett 4-timmarsfönster. Det körs 20 liknande sensorer parallellt.
- Pipeline C: En sensor kontrollerar en API-endpoint var 2:e minut och väntar vanligtvis i 15 minuter.
Vilken kombination av sensorlägen passar bäst?
Den här övningen är en del av kursen
Bygg datapipelines med Airflow
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen