ÎncepețiÎncepe gratuit

Asigurarea unor răspunsuri sigure

Configurezi un chatbot intern pentru o echipă medicală. Pentru a obține răspunsuri consistente, trebuie să limitezi variabilitatea prin setarea unui număr maxim de tokeni și restrângerea selecției de tokeni.

Ăi fost oferită instanța clasei Llama în variabila llm, împreună cu codul pentru apelarea completării. De asemenea, ai la dispoziție un prompt de test.

Acest exercițiu face parte din cursul

Lucrul cu Llama 3

Vezi cursul

Instrucțiuni pentru exercițiu

  • Setează parametrii modelului astfel încât numărul maxim de tokeni să fie limitat la zece tokeni, iar modelul să aleagă întotdeauna dintre cele mai două cuvinte probabile la fiecare pas de completare.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Editează și rulează codul