¿Qué optimizador es?

Vas a empezar un proyecto nuevo y necesitas elegir un optimizador para entrenar tu modelo. Para decidir, revisas cada optimizador y sus compromisos. ¿Puedes describir cada optimizador?