Planifier un job Databricks

Dans cet exercice, vous allez utiliser le client Databricks Workspace pour créer un job qui exécute un notebook nommé HelloWorld à une heure planifiée.

Vous avez déjà appris à créer un job déclenché explicitement. En passant le paramètre schedule à cette fonction, vous pouvez programmer l'exécution du job à un moment précis en fournissant une expression cron.

Dans cet exercice, vous pouvez supposer qu'il existe une variable prédéfinie appelée cron_expression qui représente l'expression cron pour une exécution une fois par jour à 3 h (heure de la côte Est des États‑Unis).

Nous avons déjà créé le WorkspaceClient(), stocké dans w, ainsi qu'une variable notebook_path.

Cet exercice fait partie du cours

<cours>Databricks avec le SDK Python</cours>

Voir le cours

Instructions de l’exercice

Utilisez la méthode create() de l'API WorkspaceClient.jobs pour créer un job.
Programmez le job pour qu'il s'exécute chaque jour à 3 h dans le fuseau horaire de la côte Est, en utilisant la variable prédéfinie cron_expression.
Configurez le job pour qu'il expire après 25 secondes.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
                          tasks=[
                              jobs.Task(description="test",
                                        notebook_task=jobs.____(
                                            ____=notebook_path),
                                        task_key="my-key")
                          ],
                          # Schedule it to run every day at 3 AM
                          schedule=jobs.____(
                              quartz_cron_expression=____, ____="America/New_York"),

                          # The job should timeout after 25 seconds
                          ____=25,
                          )

Modifier et exécuter le code