Configurează optimizatorul Adam pe 8 biți
Constați că antrenarea modelului tău Transformer pentru traducere automată în timp real nu învață eficient cu Adafactor. Ca alternativă, decizi să încerci un optimizator Adam pe 8 biți, care reduce memoria cu aproximativ 75% față de Adam.
Biblioteca bitsandbytes a fost importată ca bnb, TrainingArguments a fost definit ca args, iar optimizer_grouped_parameters a fost preîncărcat. Rețineți că exercițiul afișează un mesaj de avertisment despre libbitsandbytes_cpu.so, dar îl poți ignora pentru a finaliza exercițiul.
Acest exercițiu face parte din cursul
Antrenament eficient al modelelor AI cu PyTorch
Instrucțiuni pentru exercițiu
- Instanțiază optimizatorul Adam pe 8 biți folosind clasa
Adam8bitdinbnb.optim. - Transmite parametrii beta1 și beta2 optimizatorului Adam pe 8 biți.
- Transmite parametrul epsilon optimizatorului Adam pe 8 biți.
- Afișează parametrii de intrare ai optimizatorului Adam pe 8 biți.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Instantiate the 8-bit Adam optimizer
adam_bnb_optim = bnb.optim.____(optimizer_grouped_parameters,
# Pass in the beta1 and beta2 parameters
betas=(args.____, args.____),
# Pass in the epsilon parameter
eps=args.____,
lr=args.learning_rate)
# Print the input parameters
print(f"beta1 = {args.adam_beta1}")
print(f"beta2 = {args.____}")
print(f"epsilon = {args.____}")
print(f"learning_rate = {args.learning_rate}")