Planifier un travail Databricks

Dans cet exercice, vous utiliserez le client d'Espace de travail Databricks pour créer un travail qui exécute un carnet nommé HelloWorld à une heure planifiée.

Vous avez déjà appris à créer un travail déclenché explicitement. En transmettant le paramètre schedule à cette fonction, vous pouvez programmer l'exécution du travail à un moment précis au moyen d'une expression cron.

Dans cet exercice, supposez qu'il existe une variable prédéfinie nommée cron_expression qui représente une expression cron devant s'exécuter une fois par jour à 3 h, heure de l'Est.

Nous avons déjà créé le WorkspaceClient(), stocké dans w, ainsi qu'une variable notebook_path.

Cette activité fait partie du cours

Databricks avec le SDK Python

Voir le cours

Instructions de l’exercice

Utilisez la méthode create() de l'API WorkspaceClient.jobs pour créer un travail.
Planifiez l'exécution du travail chaque jour à 3 h dans le fuseau horaire de l'Est, en utilisant la variable prédéfinie cron_expression.
Configurez le travail pour qu'il expire après 25 secondes.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
                          tasks=[
                              jobs.Task(description="test",
                                        notebook_task=jobs.____(
                                            ____=notebook_path),
                                        task_key="my-key")
                          ],
                          # Schedule it to run every day at 3 AM
                          schedule=jobs.____(
                              quartz_cron_expression=____, ____="America/New_York"),

                          # The job should timeout after 25 seconds
                          ____=25,
                          )

Modifier et exécuter le code