Zacznij terazZacznij za darmo

Harmonogramowanie na partycjonowanych zasobach

Teraz, gdy źródłowy DAG emituje partycjonowane zdarzenia daily_sales, raportujący DAG może na nie reagować automatycznie — uruchamiając się tylko dla tej partycji, która właśnie została odświeżona, zamiast ponownie przetwarzać wszystkie daty. Źródłowy DAG emituje pełny znacznik czasu, ale raport potrzebuje jedynie daty kalendarzowej; normalizacja tego klucza to właśnie zadanie StartOfDayMapper. W tym ćwiczeniu zaplanuj uruchomienie raportu na partycjonowanym zasobie i zmapuj każde zdarzenie na odpowiedni dzień.

DAG źródłowy jest już wypełniony w pliku, żebyś mógł zobaczyć kontekst — w następnym ćwiczeniu zobaczysz, jak oba DAGi współpracują ze sobą.

To ćwiczenie jest częścią kursu

Budowanie potoków danych z Airflow

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie