Criando a DAG
Depois de definir os argumentos padrão, é hora de configurar sua DAG e criar a primeira tarefa que verifica a API. Esta etapa é essencial para automatizar seus fluxos de trabalho de dados e Machine Learning. Os seguintes módulos foram importados: DAG, PythonOperator e datetime. Você também tem disponível uma função personalizada check_updates_api. Hora de construir sua DAG!
Este exercício faz parte do curso
Projetando Pipelines de Previsão para Produção
Instruções do exercício
- Defina a DAG usando a função correta.
- Configure o agendamento para rodar diariamente.
- Crie a tarefa
check_apiusando um operador Python. - Forneça a função
check_updates_apicomo a callable.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Define the DAG
with ____(
'data_pipeline',
default_args=default_args,
description='Data pipeline for ETL process',
# Set the schedule to run daily
schedule='@____',
tags = ["python", "etl", "forecast"]
) as dag:
# Create check_api
check_api = ____(
task_id='check_api',
# Use the check_updates_api function
python_callable=____)
print(f"DAG object created: {dag}")
print(f"PythonOperator for API check created: {check_api}")