Când timpul contează – dar nu chiar atât de mult
Ai aflat cum latența acceptabilă a serviciului tău de Machine Learning influențează alegerea modului de servire pe care îl vei implementa.
Uneori utilizatorii pot aștepta zile, chiar săptămâni. Alteori, o secundă este deja prea mult.
Cu cât latența așteptată este mai mică, cu atât provocările de inginerie și costurile serviciului cresc. Prin urmare, evită complexitatea inutilă și aliniază designul serviciului tău ML la ceea ce utilizatorii cer și sunt dispuși să plătească.
De exemplu, să spunem că dezvolți un serviciu ML pentru analiza și rezumarea documentelor .pdf de dimensiuni mari. Dacă utilizatorii îți spun că doresc să primească rezultatele în cel mult 5 minute de la trimiterea unei cereri, cel mai potrivit mod de servire pentru cazul tău de utilizare ar fi:
Acest exercițiu face parte din cursul
MLOps Deployment and Life Cycling
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul