Plan een Databricks-job in
In deze oefening gebruik je de Databricks Workspace Client om een job te maken die een notebook met de naam HelloWorld op een ingepland tijdstip uitvoert.
Je hebt al geleerd hoe je een job maakt die je handmatig kunt starten. Door de parameter schedule aan deze functie mee te geven, kun je de job plannen om op een specifiek tijdstip te draaien met een cronexpressie.
In deze oefening kun je ervan uitgaan dat er een vooraf gedefinieerde variabele cron_expression is die de cronexpressie bevat om elke dag om 3.00 uur Eastern Time te draaien.
We hebben de WorkspaceClient() al gemaakt en opgeslagen als w, en ook een variabele notebook_path.
Deze oefening maakt deel uit van de cursus
Databricks met de Python SDK
Oefeninstructies
- Gebruik de methode
create()in deWorkspaceClient.jobs-API om een job te maken. - Plan de aan te maken job in om elke dag om 3.00 uur in de Eastern-tijdzone te draaien, gebruikmakend van de vooraf ingestelde variabele
cron_expression. - Stel de job zo in dat deze na 25 seconden afbreekt (timeout).
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)