Reihenfolge der BashOperatoren festlegen
Jetzt, wo du die Bitshift-Operatoren kennengelernt hast, ist es an der Zeit, deinen Arbeitsablauf so zu ändern, dass er einen Pull-Schritt und die Reihenfolge der Aufgaben enthält. Du hast derzeit drei Komponenten definiert: cleanup, consolidate und push_data.
Die DAG analytics_dag ist wie bisher verfügbar und die BashOperator ist bereits importiert.
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow in Python
Anleitung zur Übung
- Definiere ein
BashOperatornamenspull_salesmit einem Bash-Befehl vonwget https://salestracking/latestinfo?json. - Stelle den
pull_salesOperator so ein, dass er vor dercleanupAufgabe ausgeführt wird. - Konfiguriere
consolidatemit dem nachgelagerten Operator für die nächste Ausführung. - Setze
push_datamit einem der beiden Bitshift-Operatoren auf den letzten Platz.
Interaktive Übung zum Anfassen
Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.
# Define a new pull_sales task
pull_sales = ____(
task_id='pullsales_task',
____
)
# Set pull_sales to run prior to cleanup
pull_sales ____ cleanup
# Configure consolidate to run after cleanup
____
# Set push_data to run last
consolidate ____