LoslegenKostenlos loslegen

Sichere Antworten gewährleisten

Du konfigurierst einen internen Chatbot für ein medizinisches Team. Damit die Antworten konsistent bleiben, soll die Variabilität begrenzt werden, indem du ein Token-Limit setzt und die Token-Auswahl einschränkst.

Dir steht die Llama-Klasseninstanz in der Variablen llm sowie der Code zum Aufruf der Completion zur Verfügung. Außerdem bekommst du einen Beispiel-Prompt zum Testen.

Diese Übung ist Teil des Kurses

Arbeiten mit Llama 3

Kurs anzeigen

Anleitung zur Übung

  • Setze die Modellparameter so, dass die maximale Anzahl an Tokens auf zehn Tokens begrenzt ist und das Modell bei jedem Completion-Schritt nur zwischen den zwei wahrscheinlichsten Wörtern wählt.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Code bearbeiten und ausführen