ComenzarEmpieza gratis

Garantizar respuestas seguras

Estás configurando un chatbot interno para un equipo médico. Para obtener respuestas coherentes, necesitas limitar la variabilidad estableciendo un límite de tokens y restringiendo la selección de tokens.

Tienes a tu disposición la instancia de la clase Llama en la variable llm y el código para llamar a la completion. También se te proporciona un prompt de ejemplo para hacer pruebas.

Este ejercicio forma parte del curso

Trabajar con Llama 3

Ver curso

Instrucciones del ejercicio

  • Ajusta los parámetros del modelo para que el número máximo de tokens quede limitado a diez tokens y el modelo solo elija entre las dos palabras más probables en cada paso de la completion.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
Editar y ejecutar código