НачатьНачать бесплатно

Подготовка к обучению в 8-битном режиме

Вы хотели приступить к дообучению RLHF, однако постоянно сталкивались с ошибками нехватки памяти. Чтобы решить эту проблему, вы решили перейти на 8-битную точность, которая обеспечивает более эффективное дообучение, — с помощью библиотеки peft от Hugging Face.

Следующие компоненты уже импортированы:

  • AutoModelForCausalLM из transformers
  • prepare_model_for_int8_training из peft
  • AutoModelForCausalLMWithValueHead из trl

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Посмотреть курс

Инструкции к упражнению

  • Загрузите предобученную модель и обязательно укажите параметр для 8-битной точности.
  • Используйте функцию prepare_model_for_int8_training, чтобы подготовить модель к дообучению на основе LoRA.
  • Загрузите модель с головой значения (value head) для обучения PPO.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

model_name = "gpt2"  

# Load the model in 8-bit precision
pretrained_model = AutoModelForCausalLM.from_pretrained(
                                                       model_name, 
                                                       ____=True
                                                      )

# Prepare the model for fine-tuning
pretrained_model_8bit = ____(pretrained_model)

# Load the model with a value head
model = ____.from_pretrained(pretrained_model_8bit)
Редактировать и запускать код