Architekturmuster für Datenpipelines
Beim Erstellen von Datenpipelines ist es am besten, die Dateien, in denen Funktionen definiert werden, von denen zu trennen, in denen sie ausgeführt werden.
In dieser Übung übst du, Pipeline-Komponenten in den Speicher zu importieren, bevor du diese Funktionen verwendest, um die Pipeline end-to-end auszuführen. Das Projekt hat folgendes Format, wobei pipeline_utils die Funktionen extract(), transform() und load() speichert, die zum Ausführen der Pipeline verwendet werden.
> ls
etl_pipeline.py
pipeline_utils.py
Diese Übung ist Teil des Kurses
<Kurs>ETL und ELT in Python</Kurs>Übungsanweisungen
- Importiere die Funktionen
extract,transformundloadaus dem Modulpipeline_utils. - Verwende die importierten Funktionen, um die Datenpipeline end-to-end auszuführen.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Import the extract, transform, and load functions from pipeline_utils
____
# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")