对于传统的深度巻积神经网络，采用的架构为：使用卷积层来提取特征，最后使用全连接层对提取得到的特征量进行处理，从而实现目标值的拟合。

全连接层的一个缺点在于，容易产生过拟合。当然，使用丢弃层随机将全连接层的部分参数置为 0 可以减弱过拟合现象。

本文提出一个新的架构，主要为两点：

（一）去掉最后的全连接层，而换成平均池化层。例如最后提取到的特征层共有 10 层，对每一层进行平均池化处理得到一个数值，一共得到 10 个数值，然后使用 softmax 就可以实现总类别为 10 的分类。显然，平均池化层中没有参数，这一层不会产生过拟合。

（二）前面说到去掉了用于拟合的全连接层，为了让神经网络发挥作用，在卷积层中添加如多层感知机这样的微型网络，从而实现对局部特征的分类功能。

最后，作者发现这种新架构的网络不仅可以发挥作用，而且比原来的架构实验结果要好，从而证明了新架构的优点。