使用 LoRA 适配器
您在一家初创公司工作，提供能够自动解决客户简单问题的客服聊天机器人。
您的任务是使用 bitext 数据集，对 Maykeye/TinyLLama-v0 语言模型进行微调，以回答客服类问题。该模型将用于您团队提供的聊天机器人中。训练脚本已基本完成，但您希望在微调中集成 LoRA，因为它更高效，并且可以让您团队的训练流水线在部署期间更快完成。
相关的模型、分词器、数据集和训练参数已分别预加载到 model、tokenizer、dataset 和 training_arguments 中。
本练习是课程的一部分
使用 Llama 3 进行微调
练习说明
- 从对应的库中导入 LoRA 配置。
- 使用给定的默认值实例化 LoRA 配置参数，保存到
lora_config。 - 将 LoRA 参数集成到 SFTTrainer 中。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)