始める無料で始める

Databricks ジョブのスケジュール設定

この演習では、Databricks の WorkspaceClient を使って、HelloWorld という名前のノートブックを指定した時刻に実行するジョブを作成します。

これまでは、明示的にトリガーするジョブの作成方法を学びました。schedule パラメーターを渡すことで、cron 式を使って特定の時刻にジョブを実行するようスケジュール設定できます。

この演習では、東部時間の毎日午前 3 時に 1 回実行する cron 式を表す cron_expression という変数がすでに定義されているものとします。

なお、WorkspaceClient() はすでに作成済みで w として格納されており、notebook_path 変数も定義済みです。

この演習はコースの一部です

Databricks と Python SDK

コースを見る

演習の手順

  • WorkspaceClient.jobs API の create() メソッドを使って、ジョブを作成しましょう。
  • あらかじめ用意された cron_expression 変数を使って、東部タイムゾーンの毎日午前 3 時に実行されるようにジョブをスケジュール設定しましょう。
  • ジョブが 25 秒後にタイムアウトするよう設定しましょう。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
                          tasks=[
                              jobs.Task(description="test",
                                        notebook_task=jobs.____(
                                            ____=notebook_path),
                                        task_key="my-key")
                          ],
                          # Schedule it to run every day at 3 AM
                          schedule=jobs.____(
                              quartz_cron_expression=____, ____="America/New_York"),

                          # The job should timeout after 25 seconds
                          ____=25,
                          )
コードを編集して実行