Güvenli yanıtlar sağlama
Bir sağlık ekibi için dahili bir sohbet botu yapılandırıyorsun. Tutarlı yanıtlar almak için, bir token sınırı belirleyip token seçimini kısıtlayarak değişkenliği azaltman gerekiyor.
llm değişkeninde Llama sınıfı örneği ve tamamlamayı çağıracak kod sana verildi. Ayrıca denemek için örnek bir istem de sağlandı.
Bu egzersiz, kursun bir parçasıdır
Llama 3 ile Çalışmak
Egzersiz talimatları
- Model parametrelerini ayarlayarak azami token sayısını on token ile sınırla ve modelin her tamamlamada yalnızca en olası iki kelime arasından seçim yapmasını sağla.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])