Валідація конвеєра даних на «контрольних точках»
У цій вправі ви працюватимете з конвеєром даних, який вилучає податкові дані з файлу CSV, створює новий стовпець, відфільтровує рядки за середнім оподатковуваним доходом і зберігає дані у файл parquet.
pandas завантажено як pd, а функції extract(), transform() і load() уже визначені. Ви використаєте ці функції, щоб перевірити коректність конвеєра даних на різних контрольних точках під час його виконання.
Ця вправа є частиною курсу
ETL та ELT у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")