DAG'i tanımlama
Önceki egzersizlerde çıkarma (extract), dönüştürme (transform) ve yükleme (load) aşamalarını ayrı ayrı tamamladın. Şimdi tümü, konsolda görebileceğin düzenli bir etl() fonksiyonunda bir araya getirildi.
etl() fonksiyonu ilgili veritabanlarından ham kurs ve puanlama verilerini çeker, bozuk verileri temizler ve eksik değerleri doldurur, kurs başına ortalama puanı hesaplar ve öneri üretme için belirlenen karar kurallarına göre öneriler oluşturur ve son olarak bu önerileri bir veritabanına yükler.
Videodan hatırlayabileceğin gibi, etl() tek bir argüman alır: db_engines. Bunu göreve, PythonOperator içinde op_kwargs kullanarak iletebilirsin. Çağrılabilir fonksiyona kwargs olarak doldurulacak bir sözlük geçebilirsin.
Bu egzersiz, kursun bir parçasıdır
Data Engineering'e Giriş
Egzersiz talimatları
- DAG tanımını, günlük çalışacak şekilde tamamla. Cron gösterimini kullandığından emin ol.
- Doğru argümanları geçirerek
PythonOperator()'ı tamamla.etl'e ek olarakdb_enginesde çalışma alanında mevcut.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Define the DAG so it runs on a daily basis
dag = DAG(dag_id="recommendations",
schedule_interval="____")
# Make sure `etl()` is called in the operator. Pass the correct kwargs.
task_recommendations = PythonOperator(
task_id="recommendations_task",
python_callable=____,
op_kwargs={"____": ____},
)