矩阵计算库，汇总

对于机器学习的很多问题来说，计算的瓶颈往往在于大规模以及频繁的矩阵运算，主要在于以下两方面：

• (Dense/Sparse) Matrix – Vector product
• (Dense/Sparse) Matrix – Dense Matrix product

这篇文章的主要目的就是比较几个常见的BLAS库的矩阵运算性能，分别是

• LAPACK (Linear Algebra Package)
  • LAPACK is built on top of the BLAS;
  • 是基于BLAS的更高层的线性代数库，用于做矩阵分解(LU, LLt, QR, SVD, Schur, etc)，
    计算特征值、奇异值、解线性系统等。
    LAPACK的编译不依赖BLAS，可以依赖

1. EIGEN: 是一个线性算术的C++模板库。功能强大、快速、优雅以及支持多平台，可以使用该库来方便处理一些矩阵的操作，达到类似matlab那样的快捷。 需要定义 EIGEN_NO_DEBUG 阻止运行时assertion。编译单线程版本需要开启 -DEIGEN_DONT_PARALLELIZE. 在试验中，我们采用 EIGEN 原生 BLAS 实现。
2. ntel MKL: 英特尔数学核心函数库是一套经过高度优化和广泛线程化的数学例程，专为需要极致性能的科学、工程及金融等领域的应用而设计。它可以为当前及下一代英特尔处理器提供性能优化，包括更出色地与 Microsoft Visual Studio、Eclipse和XCode相集成。英特尔 MKL 支持完全集成英特尔兼容性 OpenMP 运行时库，以实现更出色的 Windows/Linux 跨平台兼容性。在试验中的多线程版本需要链接到 mkl_gnu_thread，而不是 mkl_intel_thread，单线程版本需要链接到 mkl_sequential_thread。
3. OpenBLAS: 是一个高性能多核 BLAS 库，是 GotoBLAS2 1.13 BSD 版本的衍生版。OpenBLAS 的编译依赖系统环境，并且没有原生单线程版本，在实验这哦那个，通过设置 OMP_NUM_THREADS=1 来模拟单线程版本，可能会带来一点点的性能下降

常用的组合

ATLAS+LAPACK

效果对比

https://stackoverflow.com/questions/7596612/benchmarking-python-vs-c-using-blas-and-numpy