Zajištění bezpečných odpovědí
Konfigururješ interního chatbota pro zdravotnický tým. Aby byly odpovědi konzistentní, potřebuješ omezit variabilitu – nastav limit tokenů a omezte výběr tokenů.
Máš k dispozici instanci třídy Llama v proměnné llm a kód pro volání completion. K testování slouží ukázkový prompt.
Toto cvičení je součástí kurzu
Práce s Llama 3
Pokyny k cvičení
- Nastav parametry modelu tak, aby maximální počet tokenů byl omezen na deset, a model vybíral vždy jen z dvou nejpravděpodobnějších slov v každém kroku.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])