เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

8-bit Adam กับ Trainer

ตั้งค่า optimizer แบบ 8-bit Adam เรียบร้อยแล้ว และพร้อมนำไปใช้เทรนโมเดล มาเตรียม Trainer ให้รองรับ 8-bit Adam กัน!

ข้อมูลบางส่วนถูกโหลดไว้ล่วงหน้าแล้ว:

  • optimizer adam_bnb_optim
  • อ็อบเจกต์สำหรับการเทรน เช่น model, train_dataset และ training_args

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ส่ง optimizer แบบ 8-bit Adam ไปยัง Trainer

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  optimizers=(____, None))
แก้ไขและรันโค้ด