ПочатиПочніть безкоштовно

Підготовка до навчання у 8 бітах

Ви хотіли розпочати тонке налаштування RLHF, але постійно стикалися з помилками нестачі пам'яті. Щоб розв'язати цю проблему, ви вирішили перейти на 8-бітну точність, яка дає змогу ефективніше виконувати тонке налаштування, скориставшись бібліотекою Hugging Face peft.

Попередньо імпортовано таке:

  • AutoModelForCausalLM з transformers
  • prepare_model_for_int8_training з peft
  • AutoModelForCausalLMWithValueHead з trl

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

  • Завантажте попередньо натреновану модель і не забудьте додати параметр для 8-бітної точності.
  • Скористайтеся функцією prepare_model_for_int8_training, щоб підготувати модель до тонкого налаштування на основі LoRA.
  • Завантажте модель із «value head» для навчання PPO.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

model_name = "gpt2"  

# Load the model in 8-bit precision
pretrained_model = AutoModelForCausalLM.from_pretrained(
                                                       model_name, 
                                                       ____=True
                                                      )

# Prepare the model for fine-tuning
pretrained_model_8bit = ____(pretrained_model)

# Load the model with a value head
model = ____.from_pretrained(pretrained_model_8bit)
Редагувати та запускати код