Bắt đầu ngayBắt đầu miễn phí

Quiz 4 - Question 1

You are preparing to train a 3-billion parameter language model using the Adam optimizer and standard 32-bit (float32) precision. What is the approximate GPU memory required for just the model parameters, gradients, and optimizer states?

Bài tập này là một phần của khóa học

Google DeepMind: Accelerate Your Model

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập