Архитектурные шаблоны конвейеров данных
При создании конвейеров данных лучше хранить файлы с определениями функций отдельно от файлов, где эти функции запускаются.
В этом упражнении вы потренируетесь импортировать компоненты конвейера в память, а затем использовать эти функции, чтобы запустить конвейер от начала до конца. Проект имеет следующую структуру, где модуль pipeline_utils хранит функции extract(), transform() и load(), которые будут использоваться для запуска конвейера.
> ls
etl_pipeline.py
pipeline_utils.py
Это упражнение является частью курса
ETL и ELT в Python
Инструкции к упражнению
- Импортируйте функции
extract,transformиloadиз модуляpipeline_utils. - Используйте импортированные функции, чтобы запустить конвейер данных от начала до конца.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import the extract, transform, and load functions from pipeline_utils
____
# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")