>>> import tensorflow as tf
>>> tf.Session()
2018-08-05 09:38:38.966050: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
# AVX是x86指令集的扩展，用于线性代数计算的加速(例如矩阵乘法、卷积等)

如果没有GPU，只在CPU上运行tensorflow的代码，那么最好从源码编译tensorflow，利用AVX、AVX2、FMA等进行优化。
有些tensorflow operation会在CPU上运行，不在GPU上运行。

Placing input pipeline operations on the CPU can significantly improve performance. Utilizing the CPU for the input pipeline frees the GPU to focus on training.
1.

下载tensorflow源码

# git clone http://10.31.39.11/xusong/tensorflow.git
git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow
git checkout r1.8

启动Docker环境

NAME=xusong_tf_bazel2              # 命名你的容器
nvidia-docker run -it \
  --name $NAME \
  -v `pwd`:/root/tensorflow1.8.0  \
  tensorflow/tensorflow:1.8.0-devel-gpu /bin/bash

编译tensorflow

cd tensorflow1.8.0
./configure  # 全部采用默认配置
# 把tensorflow源码编译成whl文件，编译后保存在/tmp/tensorflow_pkg目录下
bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package
#
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

成功后，会编译成一个.whl文件。

安装tensorflow

1	pip install /tmp/tensorflow_pkg/tensorflow-1.9.0-py2-none-any.whl

验证

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

原理

核心主要在以下命令：

1	bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tools/pip_package

2018-08-01

CS►tools►build►-bazel

【bazel系列】tensorflow的自动化构建

bazel的作用

将tensorflow的C++ api编译成可执行文件，示例 https://www.tensorflow.org/api_guides/cc/guide
将tensorflow的python api编译成可执行文件
将tensorflow的python api编译成.so

下载tensorflow源码

1 2	# 从github下载tensorflow源代码 git clone --recursive https://github.com/tensorflow/tensorflow

启动Docker环境

NAME=xusong_tf_bazel              # 命名你的容器
nvidia-docker run -it \
  --name $NAME \
  -v `pwd`:/root/tensorflow1.8.0  \
  bitspeech/tensorflow:1.8.0-gpu-bazel /bin/bash

编译tensorflow

## 进入根目录后编译
# 编译生成.so文件, 编译C++ API的库 (建议)
bazel build //tensorflow:libtensorflow_cc.so

# 也可以选择,编译C API的库
bazel build //tensorflow:libtensorflow.so

1.

首先跑通 https://github.com/tensorflow/models/tree/master/research/lm_1b
按教程编译

2.

编译LM模型

BUILD文件配置

示例文件 -
https://github.com/tensorflow/models/blob/master/research/lm_1b/

https://github.com/tensorflow/tensorflow/blob/master/tools/bazel.rc

扩展阅读

编译成安装包whl

编译成动态链接库so 或 dll

Bazel编译tensorflow项目为动态链接库so | 官网

编译成可执行文件

其他

Tensorflow源码安装时bazel行为解析

2018-08-01

ML►deep learning►model-basic►RNN

Sequence Modeling With CTC

关于blank节点

一般CTC需要与RNN或DNN结合使用。DNN与CTC模型在输出层引入一个“blank(空白)”节点,将两个发音单元之间混淆或不确定的区域映射到“blank”节点（传统“固定对齐边界”的方法将该“模糊”区域“强制”分类为左边标签、右边标签或者短停顿，存在天然的缺陷），这样，将传统的“轨迹”建模转化为“差异性”建模，使得模型更加关注一个发音单元与其它发音单元之间的“差异性”，缓减了传统模型需要完整地描述该发音单元全部信息的建模负担，可以参考 [1]

工具包

baidu-warpctc
- mxnet + baidu-warpctc https://zhuanlan.zhihu.com/p/21344595

疑问

tesseract是否采用的CTC方法

CTC是否适用seq2seq问题。

背景

CTC解决的问题是，输入序列和输出序列数目不同的问题。seq2seq(翻译模型)也是这样的。

解答

CTC适用于存在一一对应关系、主要利用局部context信息的问题，比如语音识别、OCR等。
seq2seq则更适用于需要利用全局的context信息的场合，比如翻译，因为经常从局部context得不到足够的信息。

CTC要解决的是sequence labeling的问题。

seq2seq解决的是序列到序列的广义上的翻译问题，看起来是可以解决ctc的问题，但是由于其往往需要把整个输入压成一个fixd-length vector，会导致丢失很多的信息，同时其并没有输入输出的强制对应关系，对于语音识别或者OCR这种任务来说，约束力太弱了，因此虽然这个框架可以执行ctc的任务，但是效果应该不会很好。

https://www.zhihu.com/question/49043625