Memastikan respons aman
Anda sedang mengonfigurasi chatbot internal untuk tim medis. Untuk memastikan respons yang konsisten, Anda perlu membatasi variabilitas dengan menetapkan batas token dan membatasi pemilihan token.
Anda telah disediakan instance kelas Llama dalam variabel llm dan kode untuk memanggil completion. Anda juga diberikan contoh prompt untuk diuji.
Latihan ini adalah bagian dari kursus
Bekerja dengan Llama 3
Petunjuk latihan
- Atur parameter model sehingga jumlah maksimum token dibatasi hingga sepuluh token, dan model hanya memilih di antara dua kata yang paling mungkin pada setiap langkah completion.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])