Güvenli yanıtlar sağlama
Bir sağlık ekibi için dahili bir sohbet botu yapılandırıyorsun. Tutarlı yanıtlar almak için, bir token sınırı belirleyip token seçimini kısıtlayarak değişkenliği azaltman gerekiyor.
llm değişkeninde Llama sınıfı örneği ve tamamlamayı çağıracak kod sana verildi. Ayrıca denemek için örnek bir istem de sağlandı.
Bu egzersiz
Llama 3 ile Çalışmak
kursunun bir parçasıdırEgzersiz talimatları
- Model parametrelerini ayarlayarak azami token sayısını on token ile sınırla ve modelin her tamamlamada yalnızca en olası iki kelime arasından seçim yapmasını sağla.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])