LoslegenKostenlos starten

Beobachten, wie partitionierte Assets einen Downstream-Dag auslösen

Die Upstream-sales_pipeline_v3- und Downstream-sales_report-Dags aus der vorherigen Übung sind bereit und können ausgeführt werden. Die Sales-Pipeline läuft jede Minute und sendet bei jedem Lauf ein partitioniertes daily_sales-Ereignis, während der Report nur das Datum benötigt; genau dafür ist der StartOfDayMapper da. Zeit, beiden beim Zusammenspiel zuzuschauen.

Befolge diese Schritte in der angegebenen Reihenfolge:

  1. Aktiviere in der Dags-Ansicht zuerst sales_report, damit er bereit ist zu reagieren, wenn das Asset-Ereignis ankommt.
  2. Aktiviere dann sales_pipeline_v3; sie läuft jede Minute und sendet bei jedem Lauf ein partitioniertes daily_sales-Ereignis.
  3. Warte etwa eine Minute, bis sales_pipeline_v3 fertig ist — sales_report wird dann automatisch durch das Asset-Ereignis ausgelöst.
  4. Öffne sales_report, wechsle zum Tab Runs, öffne den neuesten Lauf und suche oben in den Laufdetails nach dem Mapped Partition key.

Welches Datumsformat hat der Mapped Partition key?

Diese Übung ist Teil des Kurses

<Kurs>Data-Pipelines mit Airflow aufbauen</Kurs>
Kurs ansehen

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Übung starten