Zacznij terazZacznij za darmo

Tworzenie potoku z partycjonowaniem

Zwykłe zdarzenie dotyczące assetu informuje odbiorców, że „coś się zmieniło", ale nie wskazuje, który fragment danych. W praktyce zespoły raportowania i analityki zazwyczaj muszą ponownie przetworzyć tylko tę partycję, która rzeczywiście się zmieniła — na przykład jeden dzień — zamiast uruchamiać wszystko od nowa. Partycje assetów przekazują klucz partycji do odbiorców, dzięki czemu mogą oni reagować dokładnie na właściwy fragment danych. W tym ćwiczeniu ustawisz harmonogram potoku sprzedaży według dziennej tabeli partycji i będziesz emitować partycjonowane zdarzenie daily_sales przy każdym uruchomieniu.

To ćwiczenie jest częścią kursu

Budowanie potoków danych z Airflow

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie