ML►trick

维度尺寸设计 - 卷积

#

卷积维度设计

常见的卷积

##

1×1卷积

1×1的卷积层（可能）引起人们的重视是在NIN的结构中

1×1卷积核，实质多个feature map的线性组合。功能：

  1. 实现跨通道的交互和信息整合
  2. 进行卷积核通道数的变化(降维或升维)
  3. 保持feature map尺寸不变（即不损失分辨率）的前提下大幅增加非线性特征，把网络做的很deep。
  4. 参数少

缺陷：起不到context作用。

利用MLP代替传统的线性卷积核，从而提高网络的表达能力。文中同时利用了跨通道pooling的角度解释，认为文中提出的MLP其实等价于在传统卷积核后面接cccp层，从而实现多个feature map的线性组合，实现跨通道的信息整合。而cccp层是等价于1×1卷积的，因此细看NIN的caffe实现，就是在每个传统卷积层后面接了两个cccp层（其实就是接了两个1×1的卷积层）。

扩展阅读

参考

https://blog.csdn.net/u014114990/article/details/50767786