Đảm bảo phản hồi an toàn
Bạn đang cấu hình một chatbot nội bộ cho đội ngũ y tế. Để đảm bảo phản hồi nhất quán, bạn cần giảm mức độ biến thiên bằng cách đặt giới hạn token và giới hạn cách chọn token.
Bạn đã được cung cấp một thể hiện lớp Llama trong biến llm và đoạn mã để gọi completion. Bạn cũng có một prompt mẫu để thử nghiệm.
Bài tập này là một phần của khóa học
Làm việc với Llama 3
Hướng dẫn bài tập
- Thiết lập tham số mô hình để số token tối đa bị giới hạn ở mười token, và mô hình chỉ chọn giữa hai từ có xác suất cao nhất tại mỗi bước completion.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])