ПочатиПочніть безкоштовно

Навчання з LoRA

Ви хотіли розпочати тонке налаштування RLHF, але постійно отримували помилки нестачі пам'яті. Хоча ви переключилися на завантаження моделі з 8-бітною точністю, помилка не зникла. Щоб вирішити це, ви вирішили зробити наступний крок і застосувати LoRA для ефективнішого тонкого налаштування.

Наведене нижче вже імпортовано:

  • Модель, завантажену з 8-бітною точністю, як pretrained_model_8bit
  • LoraConfig і get_peft_model з peft
  • AutoModelForCausalLMWithValueHead з trl

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

  • Встановіть dropout LoRA на 0.1 та тип bias як lora-only.
  • Додайте конфігурацію LoRA до моделі.
  • Налаштуйте модель із головою значення для тренування з PPO.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Set the configuration parameters
config = LoraConfig(
    r=32,  
    lora_alpha=32,  
    lora_dropout=____,  
    bias=____)  

# Apply the LoRA configuration to the 8-bit model
lora_model = get_peft_model(pretrained_model_8bit, ____)
# Set up the tokenizer and model with a value head for PPO training
model = ____.from_pretrained(____)
Редагувати та запускати код