Menjalankan pipeline data end-to-end
Penting untuk memantau kinerja pipeline saat berjalan di produksi. Sebelumnya dalam kursus, Anda telah mempelajari alat seperti penanganan pengecualian dan logging. Dalam latihan terakhir ini, kita akan berlatih menjalankan pipeline secara end-to-end, sambil memantau pengecualian dan mencatat kinerja.
Latihan ini adalah bagian dari kursus
ETL dan ELT di Python
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
import logging
# Import extract, transform, and load functions from pipeline_utils
____