เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

Adafactor กับ Trainer

คุณกำลังเทรนโมเดล Transformer ที่มีพารามิเตอร์หลายพันล้านตัวสำหรับบริการแปลภาษา แต่พบว่าทรัพยากรการคำนวณเริ่มไม่เพียงพอ จึงตัดสินใจลองใช้ optimizer Adafactor เพื่อลดการใช้หน่วยความจำเมื่อเทียบกับ AdamW มาเตรียม Trainer ให้พร้อมสำหรับ Adafactor กันเลย!

อ็อบเจกต์สำหรับการเทรนบางส่วนถูกโหลดไว้แล้ว ได้แก่ model, train_dataset, validation_dataset และ compute_metrics

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ระบุ Adafactor เป็น optimizer ใน TrainingArguments
  • ส่งค่า optimizer state เพื่อพิมพ์ขนาดออกมา

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Specify Adafactor as an optimizer
training_args = TrainingArguments(output_dir="./results",
                                  evaluation_strategy="epoch",
                                  optim="____")

trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics)
trainer.train()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(trainer.optimizer.state.____())
print(f"\nNumber of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")
แก้ไขและรันโค้ด