Проверка конвейера данных в «контрольных точках»
В этом упражнении вы будете работать с конвейером данных, который извлекает налоговые данные из CSV-файла, создаёт новый столбец, отфильтровывает строки по среднему налогооблагаемому доходу и сохраняет данные в файл parquet.
Библиотека pandas уже загружена как pd, а функции extract(), transform() и load() уже определены. Вы будете использовать эти функции, чтобы проверять работу конвейера данных в разных контрольных точках в процессе его выполнения.
Это упражнение является частью курса
ETL и ELT в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")