Exceptions afhandelen bij het laden van data
Soms kan je datapijplijn een exception geven. Deze exceptions fungeren als een waarschuwing en laten een Data Engineer weten dat er iets onverwachts is gebeurd. Het is belangrijk om deze exceptions goed af te handelen. In deze oefening ga je daarmee oefenen!
Om je op weg te helpen is pandas geïmporteerd als pd en is ook de module logging geïmporteerd. Het standaard logniveau is ingesteld op "debug".
Deze oefening maakt deel uit van de cursus
ETL en ELT in Python
Oefeninstructies
- Werk de pipeline bij om een
try-blok toe te voegen en probeer de data te lezen van het pad"sales_data.parquet". - Vang een
FileNotFoundErrorop als het bestand niet kan worden ingelezen in eenpandasDataFrame. - Maak een log op error-niveau om de mislukking vast te leggen.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)