Einen BashOperator mit Vorlage erstellen

Du hast erfolgreich einen BashOperator erstellt, der eine bestimmte Datendatei bereinigt, indem er ein Skript namens cleandata.sh ausführt. Das funktioniert, aber leider muss das Skript nur für den aktuellen Tag ausgeführt werden. Einige deiner Datenquellen hinken gelegentlich ein paar Tage hinterher und müssen manuell ausgeführt werden.

Du hast das Skript cleandata.sh erfolgreich so geändert, dass es nur ein Argument akzeptiert - das Datum im Format YYYYMMDD. Deine Tests funktionieren in der Kommandozeile, aber du musst sie jetzt in deinen Airflow DAG implementieren. Verwende vorerst den Begriff {{ ds_nodash }} in deiner Vorlage - was das genau bedeutet, wirst du später sehen.

Diese Übung ist Teil des Kurses

Einführung in Apache Airflow in Python

Kurs anzeigen

Anleitung zur Übung

Erstelle eine templated_command, um das cleandata.sh Skript mit dem von Airflow vorgegebenen aktuellen Ausführungsdatum auszuführen.
Ändere den BashOperator so ab, dass er den vordefinierten Befehl verwendet.
Der Parameter params ist für die Aufgabe clean_task nicht erforderlich.

Interaktive Übung zum Anfassen

Setzen Sie die Theorie mit einer unserer interaktiven Übungen in die Tat um

Beginnen Sie mit dem Training