Erstellen einer Produktionspipeline #1
Du hast viel über die Funktionsweise von Airflow gelernt - jetzt ist es an der Zeit, deinen Arbeitsablauf in eine Produktionspipeline zu implementieren, die aus vielen Objekten, einschließlich Sensoren und Bedienern, besteht. Dein Chef ist daran interessiert, dass dieser Arbeitsablauf automatisiert wird und Berichte für SLA erstellt werden können, da dies ein zusätzliches Druckmittel für den Abschluss eines Geschäfts ist, an dem die Vertriebsmitarbeiter/innen gerade arbeiten. Der potenzielle Kunde hat angedeutet, dass er bereit ist, sich für den angegebenen Datendienst anzumelden, sobald er die Aktualisierungen auf automatisierte Weise sieht.
Aus dem, was du über den Prozess gelernt hast, weißt du, dass es Verkaufsdaten gibt, die in das System hochgeladen werden müssen. Sobald die Daten hochgeladen sind, sollte eine neue Datei erstellt werden, um die vollständige Verarbeitung zu starten, aber etwas funktioniert nicht richtig.
Schau im Quellcode von DAG nach, ob noch etwas hinzugefügt werden muss.
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow in Python
Anleitung zur Übung
- Aktualisiere die DAG in
pipeline.py
, um die benötigten Operatoren zu importieren. - Führe die Aufgabe
sense_file
über die Befehlszeile aus und suche nach Fehlern. Verwende den Befehlairflow tasks test <dag_id> <task_id> <date>
und die entsprechenden Argumente, um den Befehl auszuführen. Verwende für das letzte Argument ein-1
anstelle eines bestimmten Datums. - Finde heraus, warum die Aufgabe
sense_file
nicht abgeschlossen wird und behebe das Problem mit dem Editor. Scrolle durch die Terminalausgabe, um alle rot ERROR rot markierten Meldungen zu finden. - Teste die Aufgabe
sense_file
erneut und überprüfe, ob das Problem behoben ist.
Interaktive Übung
Setze die Theorie in einer unserer interaktiven Übungen in die Praxis um
