Programa un job de Databricks
En este ejercicio, usarás el cliente de Workspace de Databricks para crear un job que ejecute un notebook llamado HelloWorld en un horario programado.
Ya aprendiste a crear un job que se puede lanzar explícitamente. Si pasas el parámetro schedule a esta función, puedes programar el job para que se ejecute a una hora concreta usando una expresión cron.
En este ejercicio, puedes asumir que existe una variable predefinida llamada cron_expression que representa la expresión cron para ejecutarlo una vez al día a las 3 a. m., hora del Este (Eastern Time).
Ya hemos creado el WorkspaceClient(), guardado como w, y una variable notebook_path.
Este ejercicio forma parte del curso
Databricks con el SDK de Python
Instrucciones del ejercicio
- Usa el método
create()de la APIWorkspaceClient.jobspara crear un job. - Programa el job para que se ejecute todos los días a las 3 a. m. en la zona horaria del este, utilizando la variable predefinida
cron_expression. - Configura el job para que caduque por timeout tras 25 segundos.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)