Kiedy czas ma znaczenie – ale nie aż tak

Wiesz już, jak akceptowalne opóźnienie usługi uczenia maszynowego wpływa na wybór trybu serwowania.

Czasami użytkownicy mogą czekać dni, a nawet tygodnie. Innym razem każda sekunda jest zbyt długa.

Im niższe oczekiwane opóźnienie, tym większe wyzwania inżynieryjne i wyższe koszty usługi. Dlatego unikaj nadmiernego komplikowania rozwiązań i dostosuj projekt swojej usługi ML do tego, czego użytkownicy potrzebują i za co są gotowi zapłacić.

Załóżmy na przykład, że tworzysz usługę ML do analizowania i streszczania dużych dokumentów .pdf. Użytkownicy informują cię, że chcą otrzymywać wyniki w ciągu 5 minut od wysłania żądania. Jaki tryb serwowania będzie najrozsądniejszy w tym przypadku?