1. Learn
    2. /
  2. Cursuri
    3. /
  3. Introducere în Apache Airflow în Python
Connected

exercițiu

Definirea unui BashOperator cu @task.bash

Un task Bash îți permite să specifici orice comandă sau script de shell și să îl adaugi într-un workflow Airflow. Acesta poate fi un prim pas excelent pentru implementarea Airflow în mediul tău de lucru.

Ai rulat până acum manual mai multe scripturi pentru curățarea datelor (folosind un script numit cleanup.sh) înainte de a le livra colegilor din echipa de Analiză a Datelor. Pe măsură ce ai primit tot mai multe astfel de sarcini, ți-ai dat seama că devine din ce în ce mai dificil să le rulezi pe toate manual – ca să nu mai vorbim de gestionarea erorilor sau a reîncercărilor. Îți dorești să implementezi un script simplu ca operator Airflow.

Obiectele dag și task din Airflow au fost deja importate.

Instrucțiuni

100 XP
  • Folosește decoratorul @task.bash pentru a defini task-ul.
  • Folosește numele de metodă cleanup_task.
  • Fă ca task-ul să returneze cleanup.sh.