Jadwalkan job Databricks
Dalam latihan ini, Anda akan menggunakan Databricks Workspace Client untuk membuat job yang menjalankan notebook bernama HelloWorld pada waktu terjadwal.
Anda telah mempelajari cara membuat job yang dapat dipicu secara eksplisit. Dengan meneruskan parameter schedule ke fungsi ini, Anda dapat menjadwalkan job agar berjalan pada waktu tertentu dengan memberikan ekspresi cron.
Dalam latihan ini, Anda dapat berasumsi ada variabel pradefinisi bernama cron_expression yang merepresentasikan ekspresi cron untuk berjalan sekali sehari pada pukul 3 pagi waktu Eastern.
Kami telah membuat WorkspaceClient(), disimpan sebagai w, dan sebuah variabel notebook_path.
Latihan ini merupakan bagian dari kursus
Databricks dengan Python SDK
Instruksi latihan
- Gunakan metode
create()dalam APIWorkspaceClient.jobsuntuk membuat job. - Jadwalkan job yang dibuat agar berjalan setiap hari pukul 3 pagi di zona waktu Eastern, menggunakan variabel
cron_expressionyang sudah disiapkan. - Konfigurasikan job agar habis waktu (timeout) setelah 25 detik.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)