Schemalägg ett Databricks-jobb
I den här övningen använder du Databricks Workspace Client för att skapa ett jobb som kör en notebook med namnet HelloWorld vid en schemalagd tidpunkt.
Du har redan lärt dig hur man skapar ett jobb som kan triggas manuellt. Genom att skicka in parametern schedule till den här funktionen kan du schemalägga jobbet att köras vid en specifik tid med hjälp av ett cron-uttryck.
I den här övningen kan du utgå från att det finns en fördefinierad variabel kallad cron_expression som representerar det cron-uttryck som kör jobbet en gång om dagen kl. 03:00 Eastern Time.
Vi har redan skapat WorkspaceClient() och lagrat det som w, samt en variabel notebook_path.
Den här övningen är en del av kursen
Databricks med Python SDK
Övningsinstruktioner
- Använd metoden
create()i API:etWorkspaceClient.jobsför att skapa ett jobb. - Schemalägg jobbet så att det körs varje dag kl. 03:00 i östlig tidszon, med hjälp av den förinställda variabeln
cron_expression. - Konfigurera jobbet så att det avbryts efter 25 sekunder.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)