Experimentando estruturas de modelos

Você acabou de realizar um experimento em que comparou duas redes idênticas, exceto pelo fato de a segunda rede ter uma camada oculta extra. Você vê que essa segunda rede (a rede mais profunda) teve melhor desempenho. Diante disso, qual dos seguintes seria um bom experimento a ser executado em seguida para obter um desempenho ainda melhor?