Сквозное тестирование конвейера данных

В этом упражнении вы продолжите работать с уже знакомым конвейером данных, который извлекает, преобразует и загружает налоговые данные. Вы потренируетесь тестировать этот конвейер целиком, чтобы убедиться, что решение можно запускать несколько раз подряд без дублирования преобразованных данных в файле parquet.

Библиотека pandas уже загружена как pd, а функции extract(), transform() и load() уже определены.

Это упражнение является частью курса

ETL и ELT в Python

Посмотреть курс

Инструкции к упражнению

Запустите ETL-конвейер три раза, используя цикл for.
На каждой итерации запуска конвейера выводите форму (shape) clean_tax_data.
Считайте DataFrame, сохранённый в файле "clean_tax_data.parquet", в переменную to_validate.
Выведите форму (shape) DataFrame to_validate и сравните её с формой clean_tax_rate, чтобы убедиться, что данные не дублируются при каждом запуске конвейера.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

Редактировать и запускать код