Коли час має значення — але трохи

Ви дізналися, як прийнятна затримка у вашому сервісі машинного навчання впливатиме на вибір режиму обслуговування, який ви реалізуєте.

Іноді користувачі можуть чекати днями, навіть тижнями. Інколи ж і секунда — забагато.

Що нижча очікувана затримка, то більшими стають інженерні виклики і вартість вашого сервісу. Тому уникайте надмірної інженерії та узгоджуйте дизайн ML‑сервісу з тим, що потрібно користувачам і за що вони готові платити.

Наприклад, уявімо, що ви створюєте ML‑сервіс для аналізу й узагальнення великих .pdf‑документів. Якщо користувачі кажуть, що хотіли б отримувати результати протягом 5 хвилин після запиту, найбільш розумним режимом обслуговування для вашого кейсу буде: