Pencatatan log di dalam pipeline data

Pada latihan ini, Anda akan meninjau kembali fungsi yang Anda tulis pada video sebelumnya dan berlatih menambahkan pencatatan log ke dalam fungsi tersebut. Ini akan membantu saat menelusuri kesalahan atau melakukan perubahan pada logika!

pandas telah diimpor sebagai pd. Selain itu, modul logging juga telah diimpor, dan level log bawaan telah disetel ke "debug".

Latihan ini merupakan bagian dari kursus

ETL dan ELT di Python

Lihat Kursus

Instruksi latihan

Buat log level info setelah transformasi, dengan melewatkan string: "Transformed 'Order Date' column to type 'datetime'."
Catat .shape dari DataFrame pada level debug sebelum dan sesudah penyaringan.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

def transform(raw_data):
    raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
    clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
    
    # Create an info log regarding transformation
    logging.____("Transformed 'Order Date' column to type 'datetime'.")
    
    # Create debug-level logs for the DataFrame before and after filtering
    ____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
    ____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
    
    return clean_data
  
clean_sales_data = transform(raw_sales_data)

Edit dan Jalankan Kode