Harmonogramowanie na partycjonowanych zasobach
Teraz, gdy źródłowy DAG emituje partycjonowane zdarzenia daily_sales, raportujący DAG może na nie reagować automatycznie — uruchamiając się tylko dla tej partycji, która właśnie została odświeżona, zamiast ponownie przetwarzać wszystkie daty. Źródłowy DAG emituje pełny znacznik czasu, ale raport potrzebuje jedynie daty kalendarzowej; normalizacja tego klucza to właśnie zadanie StartOfDayMapper. W tym ćwiczeniu zaplanuj uruchomienie raportu na partycjonowanym zasobie i zmapuj każde zdarzenie na odpowiedni dzień.
DAG źródłowy jest już wypełniony w pliku, żebyś mógł zobaczyć kontekst — w następnym ćwiczeniu zobaczysz, jak oba DAGi współpracują ze sobą.
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie