Tạo DAG
Sau khi thiết lập các tham số mặc định, đã đến lúc bạn định nghĩa DAG và tạo tác vụ đầu tiên để kiểm tra API. Bước này rất quan trọng để tự động hóa quy trình dữ liệu và Machine Learning của bạn. Các mô-đun sau đã được nhập: DAG, PythonOperator, và datetime. Bạn cũng có sẵn một hàm tùy chỉnh check_updates_api. Bắt tay vào xây dựng DAG thôi!
Bài tập này là một phần của khóa học
Thiết kế Pipeline Dự báo cho Môi trường Production
Hướng dẫn bài tập
- Định nghĩa DAG bằng hàm phù hợp.
- Đặt lịch để chạy hằng ngày.
- Tạo tác vụ
check_apibằng Python operator. - Cung cấp hàm
check_updates_apilàm callable.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Define the DAG
with ____(
'data_pipeline',
default_args=default_args,
description='Data pipeline for ETL process',
# Set the schedule to run daily
schedule='@____',
tags = ["python", "etl", "forecast"]
) as dag:
# Create check_api
check_api = ____(
task_id='check_api',
# Use the check_updates_api function
python_callable=____)
print(f"DAG object created: {dag}")
print(f"PythonOperator for API check created: {check_api}")