Memastikan respons aman
Anda sedang mengonfigurasi chatbot internal untuk tim medis. Untuk memastikan respons yang konsisten, Anda perlu membatasi variabilitas dengan menetapkan batas token dan membatasi pemilihan token.
Anda telah disediakan instance kelas Llama dalam variabel llm dan kode untuk memanggil completion. Anda juga diberikan contoh prompt untuk diuji.
Latihan ini merupakan bagian dari kursus
Bekerja dengan Llama 3
Instruksi latihan
- Atur parameter model sehingga jumlah maksimum token dibatasi hingga sepuluh token, dan model hanya memilih di antara dua kata yang paling mungkin pada setiap langkah completion.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
output = llm(
"What are the symptoms of strep throat?",
# Set the model parameters
max_tokens=____, #Limit response length
top_k=____ #Restrict word choices
)
print(output['choices'][0]['text'])