Eine partitionierte Pipeline erstellen
Ein einfaches Asset-Event sagt nachgelagerten Konsument:innen nur, dass „sich etwas geändert hat", aber nicht, welcher Datenausschnitt betroffen ist. In der Praxis müssen Reporting- und Analytics-Teams in der Regel nur die Partition neu verarbeiten, die sich tatsächlich geändert hat, zum Beispiel einen einzelnen Tag, statt alles erneut auszuführen. Asset-Partitionen tragen den Partitionsschlüssel nachgelagert weiter, sodass Konsument:innen genau auf den richtigen Ausschnitt reagieren können. In dieser Übung planst du deine Sales-Pipeline mit einem täglichen Partitions-Zeitplan und erzeugst bei jedem Lauf ein partitioniertes daily_sales-Event.
Diese Übung ist Teil des Kurses
<Kurs>Data-Pipelines mit Airflow aufbauen</Kurs>Interaktive praktische Übung
Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis
Übung starten