När tid spelar roll – lite grand

Du har lärt dig hur den acceptabla latensen för din maskininlärningstjänst påverkar valet av servningsläge.

Ibland kan användare vänta i dagar, till och med veckor. Ibland är en sekund för lång väntan.

Ju lägre förväntad latens, desto större tekniska utmaningar och desto högre kostnad för din tjänst. Undvik därför överkonstruktion och anpassa utformningen av din ML-tjänst till vad användarna faktiskt behöver och är beredda att betala för.

Säg till exempel att du bygger en ML-tjänst för att analysera och sammanfatta stora .pdf-dokument. Om dina användare uppger att de vill ta emot resultaten inom 5 minuter efter att ha skickat en förfrågan, vilket servningsläge passar bäst för det här användningsfallet?