Agendar um job do Databricks
Neste exercício, você vai usar o Databricks Workspace Client para criar um job que executa um notebook chamado HelloWorld em um horário agendado.
Você já aprendeu a criar um job que pode ser acionado explicitamente. Ao passar o parâmetro schedule para essa função, você pode agendar o job para ser executado em um horário específico usando uma expressão cron.
Neste exercício, você pode presumir que existe uma variável predefinida chamada cron_expression que representa a expressão cron para executar uma vez por dia às 3h no horário do Leste dos EUA.
Nós já criamos o WorkspaceClient(), armazenado como w, e uma variável notebook_path.
Este exercicio faz parte do curso
Databricks com o SDK em Python
Instruções do exercicio
- Use o método
create()na APIWorkspaceClient.jobspara criar um job. - Agende o job criado para rodar todos os dias às 3h no fuso horário do Leste, usando a variável predefinida
cron_expression. - Configure o job para expirar após 25 segundos.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)