Definição de uma tarefa BashOperator

O site BashOperator permite que você especifique qualquer comando ou script do Shell e o adicione a um fluxo de trabalho do Airflow. Esse pode ser um ótimo começo para você implementar o Airflow em seu ambiente.

Por isso, você tem executado alguns scripts manualmente para limpar os dados (usando um script chamado cleanup.sh) antes de entregá-los aos seus colegas do grupo de análise de dados. À medida que mais dessas tarefas são atribuídas, você percebe que está se tornando difícil acompanhar a execução de tudo manualmente, muito menos lidar com erros ou novas tentativas. Você gostaria de implementar um script simples como um operador Airflow.

O fluxo de ar DAG analytics_dag já está definido para você e tem as configurações apropriadas em vigor.

Este exercício faz parte do curso

Introdução ao Apache Airflow em Python

Ver Curso

Instruções de exercício

Importe o objeto BashOperator.
Defina um BashOperator chamado cleanup com o task_id de cleanup_task.
Use o comando cleanup.sh.

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

# Import the BashOperator
from airflow.operators.bash import ____

with DAG(dag_id="test_dag", default_args={"start_date": "2024-01-01"}) as analytics_dag:
  # Define the BashOperator 
  cleanup = ____(
      task_id=____,
      # Define the bash_command
      bash_command=____,
  )

Editar e executar código