Sichere Antworten gewährleisten
Du konfigurierst einen internen Chatbot für ein medizinisches Team. Damit die Antworten konsistent bleiben, soll die Variabilität begrenzt werden, indem du ein Token-Limit setzt und die Token-Auswahl einschränkst.
Dir steht die Llama-Klasseninstanz in der Variablen llm sowie der Code zum Aufruf der Completion zur Verfügung. Außerdem bekommst du einen Beispiel-Prompt zum Testen.
Diese Übung ist Teil des Kurses
Arbeiten mit Llama 3
Anleitung zur Übung
- Setze die Modellparameter so, dass die maximale Anzahl an Tokens auf zehn Tokens begrenzt ist und das Modell bei jedem Completion-Schritt nur zwischen den zwei wahrscheinlichsten Wörtern wählt.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])