안전한 응답 보장하기
의료 팀을 위한 내부 챗봇을 구성하고 있어요. 일관된 응답을 보장하려면 토큰 한도를 설정하고 토큰 선택을 제한해 변동성을 낮춰야 해요.
llm 변수에 Llama 클래스 인스턴스가 제공되어 있으며, completion을 호출하는 코드도 주어졌어요. 테스트용 예시 프롬프트도 함께 제공됩니다.
이 연습은 강의의 일부입니다
Llama 3 다루기
연습 안내
- 모델 매개변수를 설정해 최대 토큰 수를 열 토큰으로 제한하고, 각 completion 단계에서 모델이 선택할 수 있는 후보를 가장 가능성 높은 두 단어로만 제한하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])