Expérimenter différentes architectures de modèle

Vous venez de mener une expérience où vous avez comparé deux réseaux identiques, à ceci près que le 2e réseau comportait une couche cachée supplémentaire. Vous observez que ce 2e réseau (le plus profond) a de meilleures performances. Dans ce contexte, laquelle des expériences suivantes serait pertinente à tester ensuite pour obtenir des performances encore meilleures ?