Qual é o otimizador?

Você está começando um novo projeto e precisa escolher um otimizador para treinar seu modelo. Para ajudar na decisão, você vai revisar cada otimizador para entender os trade-offs. Consegue descrever cada um?