Pencatatan log dalam sebuah pipeline data

Dalam latihan ini, Anda akan meninjau kembali fungsi yang Anda tulis pada video sebelumnya dan berlatih menambahkan pencatatan log ke dalam fungsi tersebut. Ini akan membantu saat menelusuri kesalahan atau melakukan perubahan pada logika!

pandas telah diimpor sebagai pd. Selain itu, modul logging telah diimpor, dan level log bawaan telah diatur ke "debug".

Latihan ini adalah bagian dari kursus

ETL dan ELT di Python

Lihat Kursus

Petunjuk latihan

Buat log level info setelah transformasi, dengan meneruskan string: "Transformed 'Order Date' column to type 'datetime'."
Catat .shape dari DataFrame pada level debug sebelum dan sesudah pemfilteran.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

def transform(raw_data):
    raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
    clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
    
    # Create an info log regarding transformation
    logging.____("Transformed 'Order Date' column to type 'datetime'.")
    
    # Create debug-level logs for the DataFrame before and after filtering
    ____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
    ____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
    
    return clean_data
  
clean_sales_data = transform(raw_sales_data)

Edit dan Jalankan Kode