Exceptions afhandelen bij het laden van data
Soms kan je datapipeline een exception geven. Deze exceptions werken als een alert en laten een Data Engineer weten dat er iets onverwachts is gebeurd. Het is belangrijk om deze exceptions goed af te handelen. In deze oefening ga je daarmee oefenen!
Om je op weg te helpen is pandas geïmporteerd als pd, en ook de module logging is geïmporteerd. Het standaard logniveau is ingesteld op "debug".
Deze oefening maakt deel uit van de cursus
ETL en ELT in Python
Oefeninstructies
- Werk de pipeline bij om een
try-blok toe te voegen en probeer de data te lezen vanaf het pad"sales_data.parquet". - Vang een
FileNotFoundErrorop als het bestand niet kan worden ingelezen in eenpandasDataFrame. - Maak een log op error-niveau om de mislukking vast te leggen.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)