Aan de slagBegin gratis

Quiz 3 - Question 1

You are preparing to train a 3-billion parameter language model using the Adam optimizer and standard 32-bit (float32) precision. What is the approximate GPU memory required for just the model parameters, gradients, and optimizer states?

Deze oefening maakt deel uit van de cursus

Google DeepMind: Accelerate Your Model

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening