НачатьНачать бесплатно

Проверки качества данных на уровне столбцов

Пайплайн, который регулярно загружает некорректные данные, хуже того, который сразу завершается с ошибкой. Прежде чем другие команды начнут использовать daily_summary, добавьте контроль качества на уровне столбцов: эта проверка запускается сразу после загрузки и прерывает выполнение, если выручка оказывается отрицательной или в количестве заказов появляются пропуски.

Задача загрузки и SQL-файл уже заполнены из предыдущих уроков.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение