Lên lịch một job Databricks
Trong bài tập này, bạn sẽ dùng Databricks Workspace Client để tạo một job chạy notebook có tên HelloWorld theo lịch.
Bạn đã học cách tạo một job có thể kích hoạt thủ công. Bằng cách truyền tham số schedule vào hàm này, bạn có thể lên lịch cho job chạy vào một thời điểm cụ thể bằng cách truyền vào một biểu thức cron.
Trong bài tập này, bạn có thể giả định có một biến được định nghĩa sẵn tên là cron_expression biểu diễn biểu thức cron để chạy một lần mỗi ngày lúc 3 giờ sáng theo giờ Eastern.
Chúng tôi đã tạo sẵn WorkspaceClient(), lưu trong biến w, và một biến notebook_path.
Bài tập này là một phần của khóa học
Databricks với Python SDK
Hướng dẫn bài tập
- Dùng phương thức
create()trong APIWorkspaceClient.jobsđể tạo một job. - Lên lịch cho job chạy mỗi ngày lúc 3 giờ sáng theo múi giờ miền đông, sử dụng biến
cron_expressionđã thiết lập sẵn. - Cấu hình job tự động hết thời gian chờ sau 25 giây.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)