Tính kích thước của optimizer

Bạn đang khảo sát các optimizer khác nhau để huấn luyện một mô hình và cần định lượng mức sử dụng bộ nhớ của optimizer để so sánh một cách khách quan. Làm thử, bạn đã tải một mô hình DistilBERT và optimizer AdamW để đo mức sử dụng bộ nhớ. Hãy viết hàm compute_optimizer_size để tính kích thước của một optimizer.

optimizer AdamW đã được định nghĩa trực tiếp (không dùng Trainer), và quá trình huấn luyện đã hoàn tất.