Reference

1. Adam: A Method for Stochastic Optimization

传统梯度下降法
$$
\mathbf{x}{t+1}=\mathbf{x}{t}-\alpha \nabla f_{t}(\mathbf{x}_t)
$$

缺陷是

weight decay

In the weight decay described by Hanson & Pratt (1988),
the weights $\mathbf{x}$ decay exponentially as
$$
\mathbf{x}{t+1}=(1-w) \mathbf{x}{t}-\alpha \nabla f_{t}(\mathbf{x}_t)
$$

where $w$ defines the rate of the weight decay per step and
$\nabla f_{t}(\mathbf{x}_t)$ is the $t$-th batch gradient to be multiplied by a learning rate $\alpha$.

L2 regularization VS weight decay

Commonly, we

$$
f_{t}^{reg}(\mathbf{x}{t}) = f{t}(\mathbf{x}_t)+\frac{w}{2} {\left | \mathbf{x}t \right |}{2}^{2}
$$

Decoupling the Weight Decay from the gradient-based update

Reference

1.

Adaptive gradient methods, such as AdaGrad (Duchi
et al., 2011), RMSProp (Tieleman & Hinton, 2012), and
Adam (Kingma & Ba, 2014) have become a default method
of choice for training feed-forward and recurrent neural
networks.

参考

• [pytorch的优化器]http://pytorch.org/docs/master/optim.html
• keras的优化器
• sklearn的优化器
• 《凸优化》

什么是平稳序列？

一个序列经过预处理被识别为平稳非白噪声序列，那就说明该序列是一个蕴含着相关信息的平稳序列。

什么样的序列不包含信息？白噪声是不包含信息吗？

https://blog.csdn.net/dingming001/article/details/73459494

• 公司的google suite，每个帐号可存储高达 5TB 文件。

google-doc VS microsoft-office

离线、本地同步

好弱啊，只能

需要安装插件Google Docs Offline，

将 Google 文档、表格、幻灯片和绘图文件同步到此计算机上，以便您可以在离线状态下进行编辑。系统会将 Google 文档的离线功能扩展程序添加到 Chrome

增量同步？

与本地文件夹同步文件的增删以及修改？

吐槽 hexo

• 重量级
  • node_modules依赖特别大
• 慢
  • filter多，

OOM:
在服务器端生成目前的700多篇文章占用大量内存，很难生成成功
1000+ 会造成OOM

1

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory

原因: Node.js 的内存限制？一个node进程大概只能使用 1GB 的内存。需要修改启动配置

Go

• 生成速度极快，几千篇文章的生成只需几秒，而且资源占用极少

吐槽hugo

• hexo 用 javascript 写的，一堆搞前端的人做主题。
• hugo 用 go 写的，一堆搞后端的人做主题。
  ��，一堆搞后端的人做主题。

匹配规则

1
2
3
4
5

* 匹配任意数量的字符，但不匹配/
? 匹配单个字符，但不匹配/
** 匹配任意数量的字符，包括/，只要它是路径中唯一的一部分
{} 允许使用一个逗号分割的列表或者表达式
! 在模式的开头用于否定一个匹配模式(即排除与模式匹配的信    息)

关于 /

关于 .

1
2
3

minimatch("path/.go/src/app.js", "**/app.js") // false
minimatch("path/go/src/app.js", "**/app.js") // true
minimatch("path/.go/src/app.js", "**/app.js", {dot: true}) // true

https://github.com/isaacs/minimatch/issues/30
https://github.com/isaacs/minimatch/issues/30

Linux 可以很方便地支持别的操作系统的文件系统，比如Windows 的文件系统就被Linux 所支持。
Linux 不仅支持多种文件系统，而且还支持这些文件系统相互之间进行访问，这一切都要归功于神奇的虚拟文件系统。

VFS

虚拟文件系统又称虚拟文件系统转换（Virual Filesystem Switch ，简称VFS）。说它
虚拟，是因为它所有的数据结构都是在运行以后才建立，并在卸载时删除，而在磁盘上并没有存储这些数据结构。

如果只有VFS，系统是无法工作的，因为它的这些数据结构不能凭空而来，只有与实际的文件系统，如Ext2、Minix、MSDOS、VFAT 等相结合，才能开始工作，所
以VFS 并不是一个真正的文件系统。与VFS 相对应，我们称Ext2、Minix、MSDOS 等为具体文
件系统。

架构

VFS的作用

1

// include/linux/fs.h 768 790

Windows和Linux文件系统的区别

扩展阅读

• 深入分析Linux内核源码 | 陈莉君
  -
  扩展阅读

• 深入分析Linux内核源码 | 陈莉君
  -

init/main.c
alds/linux/blob/master/init/main.c)