Qual é o otimizador?

Você está iniciando um novo projeto e precisa escolher um otimizador para treinar seu modelo. Para ajudá-lo a decidir, você analisa cada otimizador para entender as vantagens e desvantagens. Você pode descrever cada otimizador?