Kiedy używać trybu poke, reschedule lub deferrable
Twój zespół analizuje konfiguracje sensorów w trzech pipelinach:
- Pipeline A: Sensor sprawdza, czy pojawił się plik, który zwykle trafia na miejsce w ciągu 10 sekund od uruchomienia DAG-a.
- Pipeline B: Sensor czeka na feed danych od partnera, który pojawia się w oknie 4-godzinnym. Równolegle działa 20 podobnych sensorów.
- Pipeline C: Sensor sprawdza endpoint API co 2 minuty i zazwyczaj czeka około 15 minut.
Które połączenie trybów sensorów najlepiej pasuje do tych przypadków?
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie