Sichere Antworten gewährleisten
Du konfigurierst einen internen Chatbot für ein medizinisches Team. Damit die Antworten konsistent bleiben, soll die Variabilität begrenzt werden, indem du ein Token-Limit setzt und die Token-Auswahl einschränkst.
Dir steht die Llama-Klasseninstanz in der Variablen llm sowie der Code zum Aufruf der Completion zur Verfügung. Außerdem bekommst du einen Beispiel-Prompt zum Testen.
Diese Übung ist Teil des Kurses
<Kurs>Arbeiten mit Llama 3</Kurs>Übungsanweisungen
- Setze die Modellparameter so, dass die maximale Anzahl an Tokens auf zehn Tokens begrenzt ist und das Modell bei jedem Completion-Schritt nur zwischen den zwei wahrscheinlichsten Wörtern wählt.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])