Ti accorgi che l’addestramento del tuo modello Transformer per la traduzione linguistica in tempo reale non sta apprendendo in modo efficace con Adafactor. In alternativa, decidi di provare un ottimizzatore Adam a 8 bit per ridurre la memoria di circa il 75% rispetto ad Adam.

La libreria bitsandbytes è stata importata come bnb, TrainingArguments è stato definito come args e optimizer_grouped_parameters è già caricato. Nota che l’esercizio stampa un messaggio di avviso su libbitsandbytes_cpu.so, ma puoi ignorarlo per completare l’esercizio.

Addestramento a precisione mista con Adam a 8 bit

Create Your Free Account