Bắt đầu ngayBắt đầu miễn phí

Chuẩn bị cho huấn luyện 8-bit

Bạn muốn bắt đầu tinh chỉnh RLHF, nhưng liên tục gặp lỗi thiếu bộ nhớ. Để khắc phục, bạn quyết định chuyển sang độ chính xác 8-bit để tinh chỉnh hiệu quả hơn, tận dụng thư viện peft của Hugging Face.

Các mục sau đã được import sẵn:

  • AutoModelForCausalLM từ transformers
  • prepare_model_for_int8_training từ peft
  • AutoModelForCausalLMWithValueHead từ trl

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

Xem khóa học

Hướng dẫn bài tập

  • Tải mô hình đã huấn luyện sẵn và nhớ thêm tham số cho độ chính xác 8-bit.
  • Dùng hàm prepare_model_for_int8_training để chuẩn bị mô hình cho tinh chỉnh dựa trên LoRA.
  • Tải mô hình với value head để huấn luyện PPO.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

model_name = "gpt2"  

# Load the model in 8-bit precision
pretrained_model = AutoModelForCausalLM.from_pretrained(
                                                       model_name, 
                                                       ____=True
                                                      )

# Prepare the model for fine-tuning
pretrained_model_8bit = ____(pretrained_model)

# Load the model with a value head
model = ____.from_pretrained(pretrained_model_8bit)
Chỉnh sửa và Chạy Mã