Тестування конвеєра даних від початку до кінця

У цій вправі ви працюватимете з тим самим конвеєром даних, що й раніше, який виконує витягування, перетворення та завантаження податкових даних. Ви потренуєтеся тестувати цей конвеєр від початку до кінця, щоб переконатися, що розв'язок можна запускати багаторазово без дублювання перетворених даних у файлі parquet.

pandas імпортовано як pd, а функції extract(), transform() і load() уже визначено.

Ця вправа є частиною курсу

ETL та ELT у Python

Переглянути курс

Інструкції до вправи

Запустіть ETL-конвеєр тричі за допомогою циклу for.
Виводьте розмірність clean_tax_data на кожній ітерації запуску конвеєра.
Прочитайте DataFrame, збережений у файлі "clean_tax_data.parquet", у змінну to_validate.
Виведіть розмірність датафрейму to_validate, порівнявши її з розмірністю clean_tax_rate, щоб упевнитися, що дані не дублювалися під час кожного запуску конвеєра.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")

Редагувати та запускати код