Databricks 작업 예약하기
이 연습 문제에서는 Databricks Workspace Client를 사용하여 HelloWorld라는 이름의 노트북을 예약된 시간에 실행하는 작업을 생성합니다.
앞서 명시적으로 트리거할 수 있는 작업을 만드는 방법을 배웠습니다. 이 함수에 schedule 매개변수를 전달하면 cron 표현식을 사용해 특정 시간에 작업이 실행되도록 예약할 수 있습니다.
이 연습 문제에서는 미국 동부 시간 기준으로 매일 오전 3시에 실행되는 cron 표현식을 나타내는 cron_expression이라는 변수가 미리 정의되어 있다고 가정합니다.
WorkspaceClient()는 이미 생성되어 w로 저장되어 있으며, notebook_path 변수도 준비되어 있습니다.
이 연습은 강의의 일부입니다
Python SDK로 Databricks 다루기
연습 안내
WorkspaceClient.jobsAPI의create()메서드를 사용하여 작업을 생성하세요.- 미리 정의된
cron_expression변수를 사용하여 동부 시간대 기준 매일 오전 3시에 실행되도록 작업을 예약하세요. - 작업이 25초 후에 타임아웃되도록 설정하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)