Проверка конвейера данных в «контрольных точках»
В этом упражнении вы будете работать с конвейером данных, который извлекает налоговые данные из CSV-файла, создаёт новый столбец, фильтрует строки на основе среднего налогооблагаемого дохода и сохраняет данные в файл формата parquet.
Библиотека pandas уже импортирована как pd, а функции extract(), transform() и load() определены заранее. Используйте их, чтобы проверять конвейер данных в различных контрольных точках в ходе его выполнения.
Это упражнение является частью курса
ETL и ELT на Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")