Планирование задания Databricks

В этом упражнении вы воспользуетесь Databricks Workspace Client, чтобы создать задание, которое запускает ноутбук с именем HelloWorld по расписанию.

Вы уже знаете, как создавать задание с явным запуском. Передав параметр schedule в эту функцию, можно настроить запуск задания в определённое время с помощью cron-выражения.

В этом упражнении предполагается, что заранее определена переменная cron_expression, которая представляет cron-выражение для ежедневного запуска в 3:00 по восточному времени.

Мы уже создали WorkspaceClient(), сохранив его как w, а также переменную notebook_path.

Это упражнение является частью курса

Databricks с Python SDK

Посмотреть курс

Инструкции к упражнению

Используйте метод create() из API WorkspaceClient.jobs, чтобы создать задание.
Настройте расписание создаваемого задания так, чтобы оно запускалось ежедневно в 3:00 по восточному времени, используя заранее заданную переменную cron_expression.
Настройте таймаут задания — 25 секунд.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
                          tasks=[
                              jobs.Task(description="test",
                                        notebook_task=jobs.____(
                                            ____=notebook_path),
                                        task_key="my-key")
                          ],
                          # Schedule it to run every day at 3 AM
                          schedule=jobs.____(
                              quartz_cron_expression=____, ____="America/New_York"),

                          # The job should timeout after 25 seconds
                          ____=25,
                          )

Редактировать и запускать код