Zapewnianie bezpiecznych odpowiedzi
Konfigurujesz wewnętrznego chatbota dla zespołu medycznego. Aby zapewnić spójność odpowiedzi, ogranicz zmienność – ustaw limit tokenów i zawęź wybór tokenów.
Do dyspozycji masz instancję klasy Llama w zmiennej llm oraz kod wywołujący uzupełnienie. Dołączono też przykładowy prompt do testów.
To ćwiczenie jest częścią kursu
Praca z Llama 3
Instrukcje do ćwiczenia
- Ustaw parametry modelu tak, aby maksymalna liczba tokenów wynosiła dziesięć, a model na każdym kroku wybierał spośród dwóch najbardziej prawdopodobnych słów.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])