Membuat DAG
Setelah menetapkan argumen bawaan, saatnya mendefinisikan DAG dan membuat tugas pertama yang memeriksa API. Langkah ini penting untuk mengotomatisasi alur kerja data dan Machine Learning Anda. Modul berikut telah diimpor: DAG, PythonOperator, dan datetime. Anda juga memiliki fungsi kustom check_updates_api yang tersedia. Saatnya membangun DAG Anda!
Latihan ini adalah bagian dari kursus
Merancang Pipeline Peramalan untuk Produksi
Petunjuk latihan
- Definisikan DAG menggunakan fungsi yang tepat.
- Atur jadwal untuk berjalan setiap hari.
- Buat tugas
check_apimenggunakan operator Python. - Berikan fungsi
check_updates_apisebagai callable.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Define the DAG
with ____(
'data_pipeline',
default_args=default_args,
description='Data pipeline for ETL process',
# Set the schedule to run daily
schedule='@____',
tags = ["python", "etl", "forecast"]
) as dag:
# Create check_api
check_api = ____(
task_id='check_api',
# Use the check_updates_api function
python_callable=____)
print(f"DAG object created: {dag}")
print(f"PythonOperator for API check created: {check_api}")