Bir Databricks işini zamanla
Bu egzersizde, Databricks Workspace Client kullanarak HelloWorld adlı bir defteri belirli bir zamanda çalıştıran bir iş oluşturacaksın.
Daha önce, açıkça tetiklenebilen bir işin nasıl oluşturulacağını öğrendin. Bu fonksiyona schedule parametresini geçirerek, bir cron ifadesi kullanıp işi belirli bir zamanda çalışacak şekilde zamanlayabilirsin.
Bu egzersizde, günde bir kez Doğu Saati ile sabah 3'te çalışacak cron ifadesini temsil eden, önceden tanımlanmış cron_expression adlı bir değişken olduğunu varsayabilirsin.
WorkspaceClient() zaten oluşturuldu ve w olarak saklandı. Ayrıca bir notebook_path değişkeni de tanımlandı.
Bu egzersiz, kursun bir parçasıdır
Python SDK ile Databricks
Egzersiz talimatları
WorkspaceClient.jobsAPI'sindekicreate()yöntemini kullanarak bir iş oluştur.- Oluşturulan işi, önceden ayarlanmış
cron_expressiondeğişkenini kullanarak Doğu saat diliminde her gün saat 3'te çalışacak şekilde zamanla. - İşin 25 saniye sonra zaman aşımına uğrayacak şekilde yapılandır.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Create a job scheduled to run every day at 3 AM
created_job = w.jobs.____(name='sdk-dc-project-task',
tasks=[
jobs.Task(description="test",
notebook_task=jobs.____(
____=notebook_path),
task_key="my-key")
],
# Schedule it to run every day at 3 AM
schedule=jobs.____(
quartz_cron_expression=____, ____="America/New_York"),
# The job should timeout after 25 seconds
____=25,
)