Gestionarea excepțiilor la încărcarea datelor
Uneori, pipeline-urile de date pot genera excepții. Aceste excepții reprezintă o formă de alertare și îl anunță pe Inginerul de Date când s-a întâmplat ceva neașteptat. Este important să gestionezi corect aceste excepții. În acest exercițiu, vom exersa exact asta!
Pentru a te ajuta să începi, pandas a fost importat ca pd, iar modulul logging a fost și el importat. Nivelul implicit de log a fost setat la "debug".
Acest exercițiu face parte din cursul
ETL și ELT în Python
Instrucțiuni pentru exercițiu
- Actualizează pipeline-ul pentru a include un bloc
tryși încearcă să citești datele din calea"sales_data.parquet". - Interceptează un
FileNotFoundErrordacă fișierul nu poate fi citit într-un DataFramepandas. - Creează un log de nivel eroare pentru a documenta eșecul.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)