Logging in einer Datenpipeline

In dieser Übung schauen wir uns die Funktion aus einem früheren Video noch einmal an und üben, Logging zur Funktion hinzuzufügen. Das hilft dir beim Beheben von Fehlern oder wenn du die Logik änderst!

pandas wurde als pd importiert. Außerdem wurde das Modul logging importiert und das Standard-Log-Level auf "debug" gesetzt.

Diese Übung ist Teil des Kurses

<Kurs>ETL und ELT in Python</Kurs>

Kurs ansehen

Übungsanweisungen

Erstelle nach der Transformation ein Info-Level-Log und übergib den String: "Transformed 'Order Date' column to type 'datetime'."
Logge die .shape des DataFrames auf Debug-Level vor und nach dem Filtern.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

def transform(raw_data):
    raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
    clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
    
    # Create an info log regarding transformation
    logging.____("Transformed 'Order Date' column to type 'datetime'.")
    
    # Create debug-level logs for the DataFrame before and after filtering
    ____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
    ____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
    
    return clean_data
  
clean_sales_data = transform(raw_sales_data)

Code bearbeiten und ausführen