Налаштування сенсора для продакшну
У вашому конвеєрі використано FileSensor, який очікує на вхідний CSV-звіт перед його обробкою. У стандартному режимі poke сенсор утримує слот воркера увесь час очікування, навіть якщо файл надходить кілька хвилин.
Для продакшну сенсор має звільняти слот між перевірками та мати захисний тайм-аут, щоб не чекати безкінечно.
Ця вправа є частиною курсу
Створення конвеєрів даних з Airflow
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу