Te estás dando cuenta de que el entrenamiento de tu modelo Transformer para la traducción de idiomas en tiempo real no está aprendiendo eficazmente con Adafactor. Como alternativa, decides probar un optimizador Adam de 8 bits para reducir la memoria en aproximadamente un 75% en comparación con Adam.

La biblioteca bitsandbytes se ha importado como bnb, TrainingArguments se ha definido como args, y optimizer_grouped_parameters se ha precargado. Ten en cuenta que el ejercicio imprime un mensaje de advertencia sobre libbitsandbytes_cpu.so, pero puedes ignorar esta advertencia para completar el ejercicio.

Entrenamiento de precisión mixta con Adam de 8 bits

Create Your Free Account