Wann poke, reschedule oder deferrable verwenden
Dein Team überprüft die Sensorkonfigurationen in drei Pipelines:
- Pipeline A: Ein Sensor prüft, ob eine Datei vorhanden ist, die normalerweise innerhalb von 10 Sekunden nach dem Start des Dags eintrifft.
- Pipeline B: Ein Sensor wartet auf einen Partnerdatenfeed, der irgendwann innerhalb eines 4-Stunden-Fensters eintrifft. Es laufen 20 ähnliche Sensoren gleichzeitig.
- Pipeline C: Ein Sensor prüft alle 2 Minuten einen API-Endpunkt und wartet typischerweise 15 Minuten.
Welche Kombination aus Sensormodi passt am besten?
Diese Übung ist Teil des Kurses
<Kurs>Data-Pipelines mit Airflow aufbauen</Kurs>Interaktive praktische Übung
Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis
Übung starten