Pianifica un job Databricks
In questo esercizio userai il Workspace Client di Databricks per creare un job che esegue un notebook chiamato HelloWorld a un orario pianificato.
Hai già imparato a creare un job che può essere avviato esplicitamente. Passando il parametro schedule a questa funzione, puoi programmare l'esecuzione del job a un orario specifico usando un'espressione cron.
In questo esercizio puoi assumere che esista una variabile predefinita chiamata cron_expression che rappresenta l'espressione cron per l'esecuzione una volta al giorno alle 3 del mattino, ora della costa orientale (Eastern Time).
Abbiamo già creato il WorkspaceClient(), salvato come w, e una variabile notebook_path.
Questo esercizio fa parte del corso
Databricks con il Python SDK
Istruzioni dell'esercizio
- Usa il metodo
create()dell'APIWorkspaceClient.jobsper creare un job. - Pianifica il job in modo che venga eseguito ogni giorno alle 3 del mattino nel fuso orario della costa orientale, utilizzando la variabile preimpostata
cron_expression. - Configura il job in modo che vada in timeout dopo 25 secondi.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)