Hexo

• deep: 不同的层表征不同level的信息
  • deep cnn/lstm
• self-attention
  • transformer也能用来学习embedding

embedding

embedding plus

• [count]: count embedding
  • 类似加密破解，就用到了词频统计
    -
  • count应该是个ranking值吧
• segment embedding
  • 比如[Q]、[A]，[src]、[target]
• [pos]: position embedding
  • 自己学
  • 经验embedding
• [cls]
  • 类别
• [char] char以及中文字形
  • 比如
• 词性
• 大小写(首字母大写、全大写、全小写)

实例应用