Einen templated BashOperator erstellen
Du hast erfolgreich einen BashOperator erstellt, der eine bestimmte Datendatei mit dem Skript cleandata.sh bereinigt. Das funktioniert, erfordert aber leider, dass das Skript nur für den aktuellen Tag läuft. Einige deiner Datenquellen hinken gelegentlich ein paar Tage hinterher und müssen manuell ausgeführt werden.
Du passt das Skript cleandata.sh so an, dass es ein Argument entgegennimmt – das Datum im Format YYYYMMDD. Deine Tests funktionieren in der Kommandozeile, jetzt musst du das in deinen Airflow-DAG integrieren. Verwende vorerst den Begriff {{ ds_nodash }} in deiner Vorlage – was das genau bedeutet, siehst du später.
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow mit Python
Interaktive Übung
In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.
Übung starten