排程 Databricks 作業
在這個練習中,你會使用 Databricks Workspace Client,建立一個在排程時間執行名為 HelloWorld 的筆記本的作業。
你已經學過如何建立可由你明確觸發的作業。透過在這個函式中傳入 schedule 參數,你可以用 cron 表達式將作業排定在特定時間執行。
在本練習中,你可以假設已經有一個預先定義的變數 cron_expression,它代表每天在美東時間凌晨 3 點執行一次的 cron 表達式。
我們已經建立好 WorkspaceClient() 並存成 w,以及一個 notebook_path 變數。
本練習屬於課程
使用 Python SDK 的 Databricks
練習說明
- 使用
WorkspaceClient.jobsAPI 中的create()方法建立作業。 - 使用預先設定的
cron_expression變數,將此作業排定為在美東時區每天凌晨 3 點執行。 - 將作業設定為在 25 秒後逾時。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)