维度尺寸设计 - 综述

实例分析

lexNet

ResNet

• 整体架构一直在升维，没有升维的地方采用了residual connection
• 单个block结构：降维(11small_size) + 卷积(33small_size) + 升维(11large_size)。

NIN

GoogLeNet

Transformer

先升维再降维

• PCA映射过程是一个“先升维再降维”的过程
• SVM的核函数，低维空间不可分，先映射到高维空间
• ResNet的

inception网络中的1*1卷积

先降维再升维

1×1 layers reducing and then increasing (restoring) dimensions, leaving the 3×3 layer a bottleneck with smaller input/output dimensions.

1*1 kernel

可用于降维，可用于升维。

NIN中用于降维

    input       conv
[?*100*100*128] * [1*1*128*32]

bottleneck设计