การสร้างตัวอย่างข้อมูลสำหรับการเทรน
ในฐานะส่วนหนึ่งของโปรเจกต์สร้าง chatbot บริการลูกค้าของทีม คุณกำลังสร้าง pipeline สำหรับเตรียมชุดข้อมูลที่จะนำไปใช้ fine-tune โมเดลภาษา เพื่อให้โมเดลสามารถคาดการณ์ความต้องการของลูกค้าและส่งต่อคำขอไปยังทีมที่รับผิดชอบได้อย่างถูกต้อง
ชุดข้อมูลที่ได้รับมีคำถามของลูกค้าและความต้องการแยกอยู่ในคอลัมน์ต่างกัน และต้องการเตรียมชุดข้อมูลโดยรวมตัวอย่างแต่ละรายการที่ประกอบด้วยคำถามและความต้องการให้เป็น string เดียวในรูปแบบ prompt ที่กำหนด
ชุดข้อมูลถูกโหลดไว้ใน dataset แล้ว โดยมีคอลัมน์ instruction สำหรับคำถามของลูกค้า และคอลัมน์ intent สำหรับความต้องการของผู้ใช้
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Fine-Tuning กับ Llama 3
คำแนะนำการฝึกหัด
- สร้าง prompt string ที่รวม instruction และ intent ในรูปแบบ
"Query: {instruction}\nIntent: {intent}" - กรอก argument ในการเรียกฟังก์ชันด้วยชุดข้อมูล เพื่อนำ
create_intent_exampleไปใช้กับแต่ละแถว - ดึงและแสดงค่าในคอลัมน์
intent_exampleของแถวแรกในชุดข้อมูล
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def create_intent_example(row):
# Fill out the columns in the prompt
row['intent_example'] = ____
return row
# Call the ds method to apply our preprocessing function to all rows
processed_dataset = dataset.____(____)
# Print the intent_example in the first row of the processed data
print(processed_dataset[____][____])