Beobachten, wie partitionierte Assets einen Downstream-Dag auslösen
Die Upstream-sales_pipeline_v3- und Downstream-sales_report-Dags aus der vorherigen Übung sind bereit und können ausgeführt werden. Die Sales-Pipeline läuft jede Minute und sendet bei jedem Lauf ein partitioniertes daily_sales-Ereignis, während der Report nur das Datum benötigt; genau dafür ist der StartOfDayMapper da. Zeit, beiden beim Zusammenspiel zuzuschauen.
Befolge diese Schritte in der angegebenen Reihenfolge:
- Aktiviere in der Dags-Ansicht zuerst
sales_report, damit er bereit ist zu reagieren, wenn das Asset-Ereignis ankommt. - Aktiviere dann
sales_pipeline_v3; sie läuft jede Minute und sendet bei jedem Lauf ein partitioniertesdaily_sales-Ereignis. - Warte etwa eine Minute, bis
sales_pipeline_v3fertig ist —sales_reportwird dann automatisch durch das Asset-Ereignis ausgelöst. - Öffne
sales_report, wechsle zum Tab Runs, öffne den neuesten Lauf und suche oben in den Laufdetails nach dem Mapped Partition key.
Welches Datumsformat hat der Mapped Partition key?
Diese Übung ist Teil des Kurses
<Kurs>Data-Pipelines mit Airflow aufbauen</Kurs>Interaktive praktische Übung
Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis
Übung starten