为 Databricks 作业设置计划
在本练习中,您将使用 Databricks Workspace Client 创建一个在预定时间运行名为 HelloWorld 的笔记本的作业。
您已经学过如何创建可手动触发的作业。通过向该函数传入 schedule 参数,您可以使用 cron 表达式将作业安排在特定时间运行。
在本练习中,您可以假设已存在一个名为 cron_expression 的预定义变量,表示每天在美国东部时间凌晨 3 点运行一次的 cron 表达式。
我们已经为您创建好 WorkspaceClient()(存为 w)以及一个 notebook_path 变量。
本练习是课程的一部分
使用 Python SDK 的 Databricks
练习说明
- 使用
WorkspaceClient.jobsAPI 中的create()方法来创建作业。 - 使用预设的
cron_expression变量,将该作业安排为在东部时区每天凌晨 3 点运行。 - 将作业配置为在 25 秒后超时。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)