https://github.com/fchollet/deep-learning-models

变分自编码器（Variational auto-encoder，VAE）是一类重要的生成模型（generative model），它于2013年由Diederik P.Kingma和Max Welling提出[1]。2016年Carl Doersch写了一篇VAEs的tutorial[2]，对VAEs做了更详细的介绍，比文献[1]更易懂。这篇读书笔记基于文献[1]。

扩展阅读

• https://zhuanlan.zhihu.com/p/25401928
  -

卷积神经网络已经被hiton自己的新的胶囊网络代替，建议多上一点胶囊网络的资料
stargan
他其实就是想取代CNN，只不过capsule现在还不是特别work

其实memory cell的记忆能力也是有界限的。更好一点就是搞静态内存之类的吧.

ReLU

L1正则

源自ResNet

CNN中的跨层连接

RNN中也有跨层连接。

动量（Momentum）
随机梯度下降和小批量梯度下降是机器学习中最常见的优化技术，然而在大规模应用和复杂模型中，算法学习的效率是非常低的。而动量策略旨在加速学习过程，特别是在具有较高曲率的情况下。动量算法利用先前梯度的指数衰减滑动平均值在该方向上进行回退 [26]。该算法引入了变量 v 作为参数在参数空间中持续移动的速度向量，速度一般可以设置为负梯度的指数衰减滑动平均值。对于一个给定需要最小化的代价函数，动量可以表达为：

一文概览深度学习中的五大正则化方法和七大优化策略

• 全0初始化
• random initialization serves the purpose of symmetry breaking(对称失效).
  • 随机初始化，为了摆脱对初始化数值的依赖性