Logowanie zdarzeń w pipeline'ie danych
W tym ćwiczeniu wracamy do funkcji, którą napisałeś w jednym z poprzednich nagrań, i dodamy do niej logowanie. To znacznie ułatwi rozwiązywanie problemów i wprowadzanie zmian w logice działania!
pandas został zaimportowany jako pd. Oprócz tego zaimportowano moduł logging i ustawiono domyślny poziom logowania na "debug".
To ćwiczenie jest częścią kursu
ETL i ELT w Pythonie
Instrukcje do ćwiczenia
- Po przekształceniu utwórz log na poziomie info, przekazując ciąg znaków:
"Transformed 'Order Date' column to type 'datetime'." - Zaloguj
.shaperamki danych na poziomie debug przed i po filtrowaniu.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
def transform(raw_data):
raw_data["Order Date"] = pd.to_datetime(raw_data["Order Date"], format="%m/%d/%y %H:%M")
clean_data = raw_data.loc[raw_data["Price Each"] < 10, :]
# Create an info log regarding transformation
logging.____("Transformed 'Order Date' column to type 'datetime'.")
# Create debug-level logs for the DataFrame before and after filtering
____(f"Shape of the DataFrame before filtering: {raw_data.shape}")
____(f"Shape of the DataFrame after filtering: {clean_data.shape}")
return clean_data
clean_sales_data = transform(raw_sales_data)