НачатьНачать бесплатно

Quiz 4 - Question 1

You are preparing to train a 3-billion parameter language model using the Adam optimizer and standard 32-bit (float32) precision. What is the approximate GPU memory required for just the model parameters, gradients, and optimizer states?

Это упражнение является частью курса

Google DeepMind: Accelerate Your Model

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение