Dodawanie sprawdzeń jakości na poziomie kolumn
Pipeline, który regularnie ładuje złe dane, jest gorszy niż taki, który głośno się wysypie. Zanim dane z daily_summary trafią do innych zespołów, dodasz bramkę jakości na poziomie kolumn — uruchamia się ona zaraz po załadowaniu danych i odrzuca przebieg, jeśli przychody spadną poniżej zera lub liczba zamówień będzie niekompletna.
Zadanie ładowania i plik SQL są już uzupełnione z poprzednich lekcji.
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie