Парадигмы обработки данных

Вы — инженер в компании по обработке данных, которая получает файлы от внешнего поставщика. Эти файлы содержат важные данные, которые необходимо проверять на целостность перед загрузкой в систему. Основная сложность заключается в том, что время поступления файлов непредсказуемо: они могут приходить крупными пакетами утром или ночью, а могут поступать нерегулярно в течение дня. При этом размер файлов относительно небольшой, а их общее количество не превышает нескольких тысяч в сутки.

Какую стратегию обработки вы выберете, чтобы минимизировать затраты?