時間が少しだけ重要なとき

Machine Learning サービスで許容される待ち時間が、どの提供モードを選ぶかに影響することを学びました。

ユーザーが日単位、週単位で待てることもあれば、1 秒でも長すぎることもあります。

期待される待ち時間が短いほど、エンジニアリング上の難易度は上がり、サービスのコストも増えます。したがって、過剰な設計は避け、ユーザーが求め、対価を支払う意思のある水準に ML サービスの設計を合わせましょう。

例えば、大きな .pdf 文書を解析して要約する ML サービスを作るとします。ユーザーから「リクエストしてから 5 分以内に出力を受け取りたい」と言われた場合、このユースケースに最も妥当な提供モードは次のうちどれでしょうか。