¿Qué tiene de especial una red profunda?

Las redes con más capas de convolución se denominan redes «profundas» y pueden tener más capacidad para adaptarse a datos complejos, debido a su capacidad para crear representaciones jerárquicas de los datos a los que se adaptan.

¿Cuál es la diferencia principal entre una CNN profunda y una CNN con una sola capa convolucional?