เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การควบคุมให้โมเดลตอบสนองอย่างปลอดภัย

คุณกำลังตั้งค่าแชทบอตสำหรับทีมแพทย์ภายในองค์กร เพื่อให้การตอบสนองมีความสม่ำเสมอ จึงต้องลดความแปรปรวนด้วยการกำหนดขีดจำกัดจำนวน token และจำกัดการเลือก token

มีอินสแตนซ์ของคลาส Llama อยู่ในตัวแปร llm พร้อมกับโค้ดสำหรับเรียกใช้ completion และตัวอย่าง prompt สำหรับทดสอบ

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การทำงานกับ Llama 3

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ตั้งค่าพารามิเตอร์ของโมเดลให้จำกัดจำนวน token สูงสุดไว้ที่ สิบ token และให้โมเดลเลือกจากคำที่มีความน่าจะเป็นสูงสุดเพียง สอง คำในแต่ละขั้นตอน

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

output = llm(
		"What are the symptoms of strep throat?", 
  		# Set the model parameters 
      	max_tokens=____, #Limit response length
		top_k=____ #Restrict word choices
) 

print(output['choices'][0]['text'])
แก้ไขและรันโค้ด