CommencezCommencez gratuitement

Préparer l'entraînement en 8 bits

Vous souhaitiez commencer l'ajustement fin RLHF, mais vous avez continuellement obtenu des erreurs de mémoire insuffisante. Pour y remédier, vous avez décidé de passer à la précision en 8 bits, ce qui permet un ajustement fin plus efficace, en tirant parti de la bibliothèque peft de Hugging Face.

Les éléments suivants ont été préimportés :

  • AutoModelForCausalLM de transformers
  • prepare_model_for_int8_training de peft
  • AutoModelForCausalLMWithValueHead de trl

Cette activité fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

Voir le cours

Instructions de l’exercice

  • Chargez le modèle pré-entraîné et assurez-vous d'inclure le paramètre pour la précision en 8 bits.
  • Utilisez la fonction prepare_model_for_int8_training pour préparer le modèle à un ajustement fin basé sur LoRA.
  • Chargez le modèle avec une « value head » pour l'entraînement PPO.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

model_name = "gpt2"  

# Load the model in 8-bit precision
pretrained_model = AutoModelForCausalLM.from_pretrained(
                                                       model_name, 
                                                       ____=True
                                                      )

# Prepare the model for fine-tuning
pretrained_model_8bit = ____(pretrained_model)

# Load the model with a value head
model = ____.from_pretrained(pretrained_model_8bit)
Modifier et exécuter le code