Обработка исключений при загрузке данных
Иногда в ваших конвейерах данных могут возникать исключения. Такие исключения — это своего рода оповещение, которое сообщает дата-инженеру о том, что произошло что-то непредвиденное. Важно уметь правильно обрабатывать подобные исключения. В этом упражнении мы как раз этим и займёмся!
Чтобы вам было проще начать, модуль pandas уже импортирован как pd, а также импортирован модуль logging. Уровень логирования по умолчанию установлен на "debug".
Это упражнение является частью курса
ETL и ELT в Python
Инструкции к упражнению
- Обновите конвейер, добавив блок
try, и попробуйте прочитать данные по пути"sales_data.parquet". - Перехватите исключение
FileNotFoundError, если файл не удаётся загрузить в DataFramepandas. - Создайте лог уровня error, чтобы задокументировать сбой.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
def extract(file_path):
return pd.read_parquet(file_path)
# Update the pipeline to include a try block
____:
# Attempt to read in the file
raw_sales_data = extract("____")
# Catch the FileNotFoundError
except ____ as file_not_found:
# Write an error-level log
logging.____(file_not_found)