1. Learn
    2. /
  2. 课程
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

道练习

Thiết lập bộ tối ưu hóa Adam 8-bit

Bạn nhận thấy việc huấn luyện mô hình Transformer cho dịch ngôn ngữ thời gian thực không học hiệu quả với Adafactor. Là một lựa chọn khác, bạn quyết định thử bộ tối ưu hóa Adam 8-bit để giảm khoảng 75% bộ nhớ so với Adam.

Thư viện bitsandbytes đã được import dưới tên bnb, TrainingArguments đã được khai báo là args, và optimizer_grouped_parameters đã được nạp sẵn. Lưu ý bài tập sẽ in ra cảnh báo về libbitsandbytes_cpu.so, nhưng bạn có thể bỏ qua cảnh báo này để hoàn thành bài tập.

说明

100 XP
  • Khởi tạo bộ tối ưu hóa Adam 8-bit bằng lớp Adam8bit từ bnb.optim.
  • Truyền các tham số beta1 và beta2 vào bộ tối ưu hóa Adam 8-bit.
  • Truyền tham số epsilon vào bộ tối ưu hóa Adam 8-bit.
  • In ra các tham số đầu vào từ bộ tối ưu hóa Adam 8-bit.