ПочатиПочніть безкоштовно

Використання адаптерів LoRA

Ви працюєте в стартапі, що надає чат-боти служби підтримки для автоматичного розв'язання простих запитань клієнтів.

Ваше завдання — донавчити мовну модель Maykeye/TinyLLama-v0, щоб вона відповідала на запитання служби підтримки, використовуючи набір даних bitext. Цю модель буде використано в чат-боті вашої команди. Скрипт тренування майже готовий, але ви хочете інтегрувати LoRA у процес донавчання, адже це ефективніше й дозволить швидше завершувати тренувальний пайплайн під час розгортань.

Відповідні модель, токенайзер, набір даних і аргументи тренування вже завантажено у змінні model, tokenizer, dataset та training_arguments.

Ця вправа є частиною курсу

Тонке налаштування з Llama 3

Переглянути курс

Інструкції до вправи

  • Імпортуйте конфігурацію LoRA з відповідної бібліотеки.
  • Ініціалізуйте параметри конфігурації LoRA зі значеннями за замовчуванням у lora_config.
  • Інтегруйте параметри LoRA в SFTTrainer.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import LoRA configuration class
from ____ import ____

# Instantiate LoRA configuration with values
lora_config = ____(
  	r=12,
    lora_alpha=8,
  	task_type="CAUSAL_LM",
    lora_dropout=0.05,
    bias="none",
    target_modules=['q_proj', 'v_proj']
)

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    tokenizer=tokenizer,
    args=training_arguments,
  	# Pass the lora_config to trainer
  	____,
)
Редагувати та запускати код