Garantizar respuestas seguras
Estás configurando un chatbot interno para un equipo médico. Para obtener respuestas coherentes, necesitas limitar la variabilidad estableciendo un límite de tokens y restringiendo la selección de tokens.
Tienes a tu disposición la instancia de la clase Llama en la variable llm y el código para llamar a la completion. También se te proporciona un prompt de ejemplo para hacer pruebas.
Este ejercicio forma parte del curso
Trabajar con Llama 3
Instrucciones del ejercicio
- Ajusta los parámetros del modelo para que el número máximo de tokens quede limitado a diez tokens y el modelo solo elija entre las dos palabras más probables en cada paso de la completion.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])