CommencezCommencez gratuitement

Entraîner avec LoRA

Vous vouliez commencer l'ajustement fin avec RLHF, mais vous rencontriez constamment des erreurs de manque de mémoire. Même après avoir chargé le modèle en précision 8 bits, l'erreur persistait. Pour y remédier, vous avez décidé de passer à l'étape suivante et d'appliquer LoRA pour un ajustement fin plus efficace.

Les éléments suivants ont déjà été importés à l'avance :

  • Le modèle chargé en précision 8 bits sous pretrained_model_8bit
  • LoraConfig et get_peft_model depuis peft
  • AutoModelForCausalLMWithValueHead depuis trl

Cette activité fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

Voir le cours

Instructions de l’exercice

  • Réglez l'abandon (dropout) de LoRA à 0.1 et définissez le type de biais à lora-only.
  • Ajoutez la configuration LoRA au modèle.
  • Configurez le modèle avec une tête de valeur pour l'entraînement PPO.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Set the configuration parameters
config = LoraConfig(
    r=32,  
    lora_alpha=32,  
    lora_dropout=____,  
    bias=____)  

# Apply the LoRA configuration to the 8-bit model
lora_model = get_peft_model(pretrained_model_8bit, ____)
# Set up the tokenizer and model with a value head for PPO training
model = ____.from_pretrained(____)
Modifier et exécuter le code