Wanneer gebruik je poke, reschedule of deferrable

Je team beoordeelt de sensorconfiguraties in drie pipelines:

Pipeline A: Een sensor checkt op een bestand dat meestal binnen 10 seconden na het starten van de Dag arriveert.
Pipeline B: Een sensor wacht op een partner-datafeed die ergens binnen een venster van 4 uur arriveert. Er draaien 20 vergelijkbare sensors gelijktijdig.
Pipeline C: Een sensor checkt elke 2 minuten een API-endpoint en wacht meestal 15 minuten.

Welke combinatie van sensormodi past het beste?

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

Zet theorie om in actie met een van onze interactieve oefeningen