Expérimenter avec des structures de modèles

Vous venez d'effectuer une expérience où vous avez comparé deux réseaux identiques, sauf que le 2e réseau avait une couche cachée supplémentaire. Vous constatez que ce 2e réseau (le réseau plus profond) affiche une meilleure performance. Sachant cela, laquelle des expériences suivantes serait une bonne prochaine étape pour obtenir une performance encore meilleure?