Проверки качества данных на уровне столбцов
Пайплайн, который регулярно загружает некорректные данные, хуже того, который сразу завершается с ошибкой. Прежде чем другие команды начнут использовать daily_summary, добавьте контроль качества на уровне столбцов: эта проверка запускается сразу после загрузки и прерывает выполнение, если выручка оказывается отрицательной или в количестве заказов появляются пропуски.
Задача загрузки и SQL-файл уже заполнены из предыдущих уроков.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение