Định nghĩa DAG
Trong các bài trước, bạn đã hoàn thành riêng lẻ các bước extract, transform và load. Giờ tất cả được gói gọn trong một hàm etl() gọn gàng mà bạn có thể xem trong console.
Hàm etl() trích xuất dữ liệu khóa học và đánh giá thô từ các cơ sở dữ liệu liên quan, làm sạch dữ liệu hỏng và điền giá trị khuyết, tính điểm đánh giá trung bình cho từng khóa học và tạo gợi ý dựa trên các quy tắc ra quyết định để tạo đề xuất, và cuối cùng nạp các gợi ý vào cơ sở dữ liệu.
Như bạn đã thấy trong video, etl() nhận một đối số duy nhất: db_engines. Cả etl và db_engines đều có sẵn trong không gian làm việc, nên tác vụ bạn định nghĩa chỉ cần gọi cái này với cái kia.
Bài tập này là một phần của khóa học
Introduction to Data Engineering
Hướng dẫn bài tập
- Hoàn thiện định nghĩa DAG để nó chạy hằng ngày. Nhớ dùng cú pháp cron.
- Hoàn thiện tác vụ để gọi hàm
etl()với các database engine.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Define the DAG so it runs on a daily basis
@dag(dag_id="recommendations",
start_date=datetime(2024, 1, 1),
schedule="____")
def recommendations():
# Make sure the task calls etl() with the database engines
@task(task_id="recommendations_task")
def recommendations_task():
____(____)
recommendations_task()
# Run the DAG
recommendations()