Использование адаптеров LoRA
Вы работаете в стартапе, который разрабатывает чат-боты для обслуживания клиентов — они автоматически отвечают на простые вопросы пользователей.
Вам поручено дообучить языковую модель Maykeye/TinyLLama-v0 для ответов на вопросы службы поддержки с использованием набора данных bitext. Эта модель будет встроена в чат-бот вашей команды. Скрипт обучения уже почти готов, однако вы решили добавить в процесс дообучения LoRA — это более эффективный подход, который позволит ускорить работу обучающего конвейера при развёртывании.
Модель, токенизатор, набор данных и параметры обучения уже загружены в переменные model, tokenizer, dataset и training_arguments.
Это упражнение является частью курса
Файн-тюнинг с Llama 3
Инструкции к упражнению
- Импортируйте конфигурацию LoRA из соответствующей библиотеки.
- Инициализируйте параметры конфигурации LoRA со значениями по умолчанию, присвоив результат переменной
lora_config. - Передайте параметры LoRA в SFTTrainer.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)