Zacznij terazZacznij za darmo

Zapewnianie bezpiecznych odpowiedzi

Konfigurujesz wewnętrznego chatbota dla zespołu medycznego. Aby zapewnić spójność odpowiedzi, ogranicz zmienność – ustaw limit tokenów i zawęź wybór tokenów.

Do dyspozycji masz instancję klasy Llama w zmiennej llm oraz kod wywołujący uzupełnienie. Dołączono też przykładowy prompt do testów.

To ćwiczenie jest częścią kursu

Praca z Llama 3

Zobacz kurs

Instrukcje do ćwiczenia

  • Ustaw parametry modelu tak, aby maksymalna liczba tokenów wynosiła dziesięć, a model na każdym kroku wybierał spośród dwóch najbardziej prawdopodobnych słów.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Edytuj i uruchom kod