O que tem de especial uma rede profunda?

As redes com mais camadas de convolução são chamadas de redes “profundas” e podem ter mais poder para se adaptar a dados complexos, por causa da capacidade de criar representações hierárquicas dos dados aos quais se adaptam.

Qual é a principal diferença entre uma CNN profunda e uma CNN com só uma camada convolucional?