Einen Sensor für den Produktivbetrieb konfigurieren
Deine Pipeline verwendet einen FileSensor, der auf einen eingehenden CSV-Bericht wartet, bevor er verarbeitet wird. Im standardmäßigen poke-Modus blockiert der Sensor während der gesamten Wartezeit einen Worker-Slot – selbst wenn die Datei mehrere Minuten benötigt, um anzukommen.
Für den Produktivbetrieb sollte ein Sensor den Slot zwischen den Prüfungen freigeben und einen Sicherheits-Timeout haben, damit er nicht unbegrenzt wartet.
Diese Übung ist Teil des Kurses
<Kurs>Data-Pipelines mit Airflow aufbauen</Kurs>Interaktive praktische Übung
Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis
Übung starten