ÎncepețiÎncepe gratuit

Quiz 3 - Question 1

You are preparing to train a 3-billion parameter language model using the Adam optimizer and standard 32-bit (float32) precision. What is the approximate GPU memory required for just the model parameters, gradients, and optimizer states?

Acest exercițiu face parte din cursul

Google DeepMind: Accelerate Your Model

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul