Khi thời gian quan trọng - ở mức vừa phải

Bạn đã học được cách mức độ trễ chấp nhận được của dịch vụ Machine Learning sẽ ảnh hưởng đến việc lựa chọn chế độ phục vụ bạn triển khai.

Đôi khi người dùng có thể chờ vài ngày, thậm chí vài tuần. Đôi khi, một giây cũng là quá nhiều.

Độ trễ kỳ vọng càng thấp, thách thức kỹ thuật càng lớn và chi phí dịch vụ của bạn càng cao. Vì vậy, hãy tránh “over-engineering” và thiết kế dịch vụ ML bám sát những gì người dùng cần và sẵn sàng chi trả.

Ví dụ, giả sử bạn đang xây dựng một dịch vụ ML để phân tích và tóm tắt các tài liệu .pdf lớn. Nếu người dùng nói rằng họ muốn nhận đầu ra của dịch vụ trong vòng 5 phút sau khi gửi yêu cầu, thì chế độ phục vụ hợp lý nhất cho trường hợp này sẽ là: