Začněte nyníZačněte zdarma

Zajištění bezpečných odpovědí

Konfigururješ interního chatbota pro zdravotnický tým. Aby byly odpovědi konzistentní, potřebuješ omezit variabilitu – nastav limit tokenů a omezte výběr tokenů.

Máš k dispozici instanci třídy Llama v proměnné llm a kód pro volání completion. K testování slouží ukázkový prompt.

Toto cvičení je součástí kurzu

Práce s Llama 3

Zobrazit kurz

Pokyny k cvičení

  • Nastav parametry modelu tak, aby maximální počet tokenů byl omezen na deset, a model vybíral vždy jen z dvou nejpravděpodobnějších slov v každém kroku.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Upravit a spustit kód