การบันทึกชุดข้อมูลที่ผ่านการประมวลผลแล้ว
ในโปรเจกต์แชทบอตบริการลูกค้า คุณได้เตรียมชุดข้อมูลสำหรับการ fine-tune โมเดล Llama เรียบร้อยแล้ว ขั้นตอนต่อไปคือการบันทึกชุดข้อมูลนี้ เพื่อให้โหลดกลับมาใช้ภายหลังได้โดยไม่ต้องทำขั้นตอนการประมวลผลซ้ำ ซึ่งจะช่วยให้ทีมนำชุดข้อมูลนี้ไปใช้ในการทดลองและปรับแก้ได้หลายครั้ง
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Fine-Tuning กับ Llama 3
คำแนะนำการฝึกหัด
- บันทึกชุดข้อมูลที่ผ่านการประมวลผลแล้ว
dsลงดิสก์ - โหลดชุดข้อมูลที่บันทึกไว้เข้าสู่ตัวแปรใหม่ชื่อ
ds_preprocessed - แสดงผลองค์ประกอบแรกของ
ds_preprocessed
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
from datasets import load_from_disk
# Save the dataset to disk
____
# Load the dataset from disk
ds_preprocessed = ____
# Print the first element of the loaded dataset
print(____)