जब समय मायने रखता है — थोड़ा सा

आप ने सीखा कि आपके मशीन लर्निंग सर्विस की स्वीकार्य लैटेंसी उस सर्विंग मोड के चुनाव को प्रभावित करेगी जिसे आप लागू करेंगे।

कभी-कभी यूज़र्स दिनों, यहाँ तक कि हफ्तों तक प्रतीक्षा कर सकते हैं। कभी-कभी, एक सेकंड भी ज़्यादा होता है।

जितनी कम अपेक्षित लैटेंसी होगी, उतनी ही बड़ी इंजीनियरिंग चुनौतियाँ और आपके सर्विस की लागत होगी। इसलिए, ओवर-इंजीनियरिंग से बचें और अपने ML सर्विस का डिज़ाइन उसी के अनुरूप रखें जो यूज़र्स को चाहिए और जिसके लिए वे भुगतान करने को तैयार हैं।

उदाहरण के लिए, मान लीजिए आप बड़े .pdf डॉक्यूमेंट्स का विश्लेषण और सारांश बनाने के लिए एक ML सर्विस बना रहे हैं। यदि आपके यूज़र्स बताते हैं कि वे रिक्वेस्ट करने के 5 मिनट के भीतर सर्विस के आउटपुट पाना चाहते हैं, तो आपके उपयोग-मामले के लिए सबसे उचित सर्विंग मोड होगा: