ComeçarComece de graça

Prepare para treinamento em 8 bits

Você queria começar o fine-tuning com RLHF, mas continuou esbarrando em erros de falta de memória. Para resolver isso, você decidiu mudar para precisão de 8 bits, o que permite um fine-tuning mais eficiente, aproveitando a biblioteca peft da Hugging Face.

Os seguintes itens já foram importados:

  • AutoModelForCausalLM de transformers
  • prepare_model_for_int8_training de peft
  • AutoModelForCausalLMWithValueHead de trl

Este exercício faz parte do curso

Reinforcement Learning from Human Feedback (RLHF)

Ver curso

Instruções do exercício

  • Carregue o modelo pré-treinado e inclua o parâmetro para precisão de 8 bits.
  • Use a função prepare_model_for_int8_training para deixar o modelo pronto para o fine-tuning baseado em LoRA.
  • Carregue o modelo com um value head para o treinamento com PPO.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

model_name = "gpt2"  

# Load the model in 8-bit precision
pretrained_model = AutoModelForCausalLM.from_pretrained(
                                                       model_name, 
                                                       ____=True
                                                      )

# Prepare the model for fine-tuning
pretrained_model_8bit = ____(pretrained_model)

# Load the model with a value head
model = ____.from_pretrained(pretrained_model_8bit)
Editar e executar o código