Programează un job Databricks

În acest exercițiu, vei folosi Databricks Workspace Client pentru a crea un job care rulează un notebook cu numele HelloWorld la o oră programată.

Ai învățat deja cum să creezi un job care poate fi declanșat explicit. Dacă transmiți parametrul schedule acestei funcții, poți programa job-ul să ruleze la o anumită oră, folosind o expresie cron.

În acest exercițiu, poți presupune că există o variabilă predefinită numită cron_expression, care reprezintă expresia cron pentru a rula o dată pe zi la ora 3 dimineața, ora fusului orar Eastern.

Am creat deja WorkspaceClient(), stocat ca w, și o variabilă notebook_path.

Acest exercițiu face parte din cursul

Databricks cu Python SDK

Vezi cursul

Instrucțiuni pentru exercițiu

Folosește metoda create() din API-ul WorkspaceClient.jobs pentru a crea un job.
Programează job-ul creat să ruleze în fiecare zi la ora 3 dimineața, în fusul orar Eastern, folosind variabila predefinită cron_expression.
Configurează job-ul să expire după 25 de secunde.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
                          tasks=[
                              jobs.Task(description="test",
                                        notebook_task=jobs.____(
                                            ____=notebook_path),
                                        task_key="my-key")
                          ],
                          # Schedule it to run every day at 3 AM
                          schedule=jobs.____(
                              quartz_cron_expression=____, ____="America/New_York"),

                          # The job should timeout after 25 seconds
                          ____=25,
                          )

Editează și rulează codul