Planowanie zadania w Databricks
W tym ćwiczeniu użyjesz klienta Databricks Workspace Client, aby utworzyć zadanie uruchamiające notes o nazwie HelloWorld o zaplanowanej godzinie.
Wiesz już, jak tworzyć zadania uruchamiane ręcznie. Przekazując parametr schedule do tej funkcji, możesz zaplanować uruchomienie zadania o konkretnej godzinie za pomocą wyrażenia cron.
W tym ćwiczeniu możesz przyjąć, że istnieje z góry zdefiniowana zmienna cron_expression reprezentująca wyrażenie cron uruchamiające zadanie raz dziennie o godzinie 3:00 czasu wschodniego.
Klient WorkspaceClient() został już utworzony i zapisany jako w, a zmienna notebook_path jest już zdefiniowana.
To ćwiczenie jest częścią kursu
Databricks z Python SDK
Instrukcje do ćwiczenia
- Użyj metody
create()z APIWorkspaceClient.jobs, aby utworzyć zadanie. - Zaplanuj utworzone zadanie tak, aby uruchamiało się codziennie o godzinie 3:00 czasu wschodniego, korzystając z gotowej zmiennej
cron_expression. - Skonfiguruj zadanie tak, aby przekraczało limit czasu po 25 sekundach.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)