กำหนดเวลารันงาน Databricks
ในแบบฝึกหัดนี้ จะได้ใช้ Databricks Workspace Client เพื่อสร้างงานที่รัน notebook ชื่อ HelloWorld ตามเวลาที่กำหนดไว้
ก่อนหน้านี้ได้เรียนรู้วิธีสร้างงานที่สามารถเรียกใช้งานได้ด้วยตนเองแล้ว การส่งพารามิเตอร์ schedule เข้าไปในฟังก์ชันนี้ช่วยให้กำหนดเวลารันงานได้โดยใช้ cron expression
ในแบบฝึกหัดนี้ สมมติว่ามีตัวแปรที่กำหนดไว้แล้วชื่อ cron_expression ซึ่งแทน cron expression สำหรับรันวันละครั้งเวลา 3 โมงเช้าตามเวลา Eastern Time
ได้สร้าง WorkspaceClient() เก็บไว้ในตัวแปร w และมีตัวแปร notebook_path พร้อมใช้งานแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Databricks กับ Python SDK
คำแนะนำการฝึกหัด
- ใช้เมธอด
create()ในWorkspaceClient.jobsAPI เพื่อสร้างงาน - กำหนดเวลาให้งานที่สร้างขึ้นรันทุกวันเวลา 3 โมงเช้าตาม Eastern timezone โดยใช้ตัวแปร
cron_expressionที่เตรียมไว้ - ตั้งค่าให้งานหมดเวลาหลังจาก 25 วินาที
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)