Gestionarea excepțiilor la încărcarea datelor
Uneori, pipeline-urile tale de date pot genera o excepție. Aceste excepții reprezintă o formă de alertare și îi semnalează unui Data Engineer când se întâmplă ceva neașteptat. Este important să gestionezi corect aceste excepții. În acest exercițiu, exersăm exact acest lucru!
Ca să pornești mai ușor, pandas a fost deja importat ca pd, iar modulul logging a fost și el importat. Nivelul implicit de logare a fost setat la "debug".
Acest exercițiu face parte din cursul
ETL și ELT în Python
Instrucțiuni pentru exercițiu
- Actualizează pipeline-ul pentru a include un bloc
tryși încearcă să citești datele din calea"sales_data.parquet". - Prinde o eroare
FileNotFoundErrordacă fișierul nu poate fi citit într-un DataFramepandas. - Creează un jurnal de nivel eroare pentru a documenta eșecul.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)