位置信息

简介

• 绝对位置信息：
  • 句首
  • 句尾
  • 做法：直接把位置编号当做特征
• 相对位置信息(relative)：
• 上下文信息(context)：

好像前两者都不重要，重要的是context信息。句首、句尾可以通过符号的LM来学习。

• 平移不变性: 位置移动
  • ss
    -
    google
• 周期性：与平移不变性很像

人工特征

naive 方法

直接把位置编号 [1，2，3，…n]作为一个维度。

缺陷：这样体现的是绝对位置信息。期望这种encoding具有平移不变性

常用方法

google提出的position encoding。

推荐系统中的时序信息：

• FM中采用 last movie rated

学习特征

position embedding

通常采用position embedding + word embedding，比如：
ConvSeq2Seq，Transformer，等

优势:

• 简单，易与word_embedding融合

缺陷:

• 貌似没有考虑relative position

疑问：

• 是否能够学习到relative position
• 两个embedding的融合为什么要采用加法，串起来呢？

position matrix ?

人工特征 + 学习特征

可以显式的加入位置信息，[1，2，3，…n]作为一个维度，能够体现位置的连续性，进而体现relative position。

但是绝对位置 1 2 3 不太靠谱，我们需要的仅仅是一个

扩展阅读

• Convolutional Sequence to Sequence Learning | facebook
• Attention is All Your Need | Google