Обробка винятків під час завантаження даних
Іноді ваші конвеєри даних можуть викидати виняток. Такі винятки є формою сповіщення: вони дають знати Data Engineer, що сталося щось неочікуване. Важливо коректно їх обробляти. У цій вправі ви потренуєтеся саме цьому!
Щоб вам було легше почати, pandas імпортовано як pd, а також імпортовано модуль logging. Типовий рівень логування встановлено на "debug".
Ця вправа є частиною курсу
ETL та ELT у Python
Інструкції до вправи
- Оновіть конвеєр, додавши блок
try, і спробуйте зчитати дані з шляху"sales_data.parquet". - Перехопіть
FileNotFoundError, якщо файл не вдається прочитати в датафреймpandas. - Створіть лог рівня помилки, щоб задокументувати збій.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)