Zjišťuješ, že trénování tvého Transformer modelu pro překlad jazyka v reálném čase nefunguje s Adafactorem efektivně. Jako alternativu se rozhodneš vyzkoušet 8-bitový optimizér Adam, který oproti klasickému Adamu snižuje nároky na paměť přibližně o 75 %.

Knihovna bitsandbytes je importovaná jako bnb, TrainingArguments jsou definované jako args a optimizer_grouped_parameters je předem připraveno. Cvičení zobrazí varování týkající se libbitsandbytes_cpu.so — toto varování můžeš ignorovat a v cvičení pokračovat.

Trénování se smíšenou přesností pomocí 8-bitového Adamu

Create Your Free Account