Обработка исключений при загрузке данных
Иногда в процессе работы конвейер данных может вызывать исключения. Исключения — это один из способов оповещения: они сообщают дата-инженеру о том, что что-то пошло не так. Правильная обработка таких исключений очень важна. В этом упражнении мы как раз отработаем этот навык!
Для начала работы библиотека pandas уже импортирована как pd, модуль logging также импортирован, а уровень журналирования по умолчанию установлен в значение "debug".
Это упражнение является частью курса
ETL и ELT на Python
Инструкции к упражнению
- Обновите конвейер: добавьте блок
tryи попытайтесь прочитать данные из файла"sales_data.parquet". - Перехватите исключение
FileNotFoundError, если файл не удалось загрузить в DataFramepandas. - Создайте журнальную запись уровня ошибки, фиксирующую факт сбоя.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)