BaşlayınÜcretsiz Başlayın

DAG'i tanımlama

Önceki egzersizlerde çıkarma (extract), dönüştürme (transform) ve yükleme (load) aşamalarını ayrı ayrı tamamladın. Şimdi tümü, konsolda görebileceğin düzenli bir etl() fonksiyonunda bir araya getirildi.

etl() fonksiyonu ilgili veritabanlarından ham kurs ve puanlama verilerini çeker, bozuk verileri temizler ve eksik değerleri doldurur, kurs başına ortalama puanı hesaplar ve öneri üretme için belirlenen karar kurallarına göre öneriler oluşturur ve son olarak bu önerileri bir veritabanına yükler.

Videodan hatırlayabileceğin gibi, etl() tek bir argüman alır: db_engines. Bunu göreve, PythonOperator içinde op_kwargs kullanarak iletebilirsin. Çağrılabilir fonksiyona kwargs olarak doldurulacak bir sözlük geçebilirsin.

Bu egzersiz

Data Engineering'e Giriş

kursunun bir parçasıdır
Kursu Görüntüle

Egzersiz talimatları

  • DAG tanımını, günlük çalışacak şekilde tamamla. Cron gösterimini kullandığından emin ol.
  • Doğru argümanları geçirerek PythonOperator()'ı tamamla. etl'e ek olarak db_engines de çalışma alanında mevcut.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Define the DAG so it runs on a daily basis
dag = DAG(dag_id="recommendations",
          schedule_interval="____")

# Make sure `etl()` is called in the operator. Pass the correct kwargs.
task_recommendations = PythonOperator(
    task_id="recommendations_task",
    python_callable=____,
    op_kwargs={"____": ____},
)
Kodu Düzenle ve Çalıştır