Začněte nyníZačněte zdarma

Naplánování Databricks jobu

V tomto cvičení použiješ Databricks Workspace Client k vytvoření jobu, který ve stanovenou dobu spustí notebook s názvem HelloWorld.

Už víš, jak vytvořit job, který lze spustit ručně. Pokud funkci předáš parametr schedule, můžeš nastavit automatické spouštění jobu v určitý čas pomocí cron výrazu.

V tomto cvičení předpokládej, že existuje předdefinovaná proměnná cron_expression, která reprezentuje cron výraz pro spuštění jednou denně ve 3 hodiny ráno podle východoamerického času.

Objekt WorkspaceClient() je již vytvořen a uložen jako w, stejně tak proměnná notebook_path.

Toto cvičení je součástí kurzu

Databricks with the Python SDK

Zobrazit kurz

Pokyny k cvičení

  • Pomocí metody create() z API WorkspaceClient.jobs vytvoř job.
  • Nastav plánování jobu tak, aby se spouštěl každý den ve 3 hodiny ráno ve východoamerickém časovém pásmu – použij předdefinovanou proměnnou cron_expression.
  • Nakonfiguruj job tak, aby vypršel po 25 sekundách.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
                          tasks=[
                              jobs.Task(description="test",
                                        notebook_task=jobs.____(
                                            ____=notebook_path),
                                        task_key="my-key")
                          ],
                          # Schedule it to run every day at 3 AM
                          schedule=jobs.____(
                              quartz_cron_expression=____, ____="America/New_York"),

                          # The job should timeout after 25 seconds
                          ____=25,
                          )
Upravit a spustit kód