Eine produktionsreife Pipeline erstellen #1
Du hast viel darüber gelernt, wie Airflow funktioniert – jetzt ist es Zeit, deinen Workflow als produktionsreife Pipeline umzusetzen, die aus vielen Objekten wie Sensoren und Operatoren besteht. Dein Chef möchte sehen, dass dieser Workflow automatisiert ist und SLA-Reporting liefern kann, weil das dem Vertrieb zusätzlichen Rückenwind bei einem laufenden Deal gibt. Der potenzielle Kunde hat signalisiert: Sobald er automatisierte Updates sieht, ist er bereit, den genannten Datendienst zu buchen.
Aus dem Prozess weißt du, dass Verkaufsdaten ins System hochgeladen werden. Nachdem die Daten hochgeladen wurden, sollte eine neue Datei erstellt werden, um die vollständige Verarbeitung zu starten – aber irgendetwas funktioniert nicht richtig.
Sieh dir den Quellcode des DAGs an, um festzustellen, ob noch etwas ergänzt werden muss.
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow mit Python
Interaktive Übung
In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.
Übung starten