在很多应用场景下，我们普遍需要进行并行计算，而不仅仅是并发。举个例子，比如机器学习中，我们常常使用GPU来并行训练神经网络；在例如Hadoop这种大数据计算平台等分布式系统中，不同的计算机之间，程序的执行也是并行的；同一台计算机中，多核处理器的不同CPU内核之间的计算也是并行的，系统可以此来均衡负载以及提高速度。那么，当我们有需要的时候，也可自己通过编写并行程序来进行计算，以实现我们所需要的功能，MPI就是这样的一个框架。
Linux系统下安装TensorFlow的GPU版本
前言：
安装TensorFlow的GPU版本真的不是一件容易的事，好难，网上的各种安装教程倒是不少，但是基本没有一个能完全照着那种方法就能安装成功的，甚至有些连最基本的一些必需的步骤都没写到，那样子的话能安装到位才是奇迹。
在经历各种踩坑后，我通过大量的互联网搜索，综合各个网站上写到的安装tensorflow-gpu的方法，终于总结出来一个走的通的方法，并且亲自动手实践，成功在Linux(Ubuntu) + Python3.5安装且运行了一个卷积神经网络的训练程序。
在多平台上安装TensorFlow的方法
TensorFlow是谷歌在近期开源的一款深度学习方面的框架，有纯CPU版本和使用了GPU的版本。我们通过使用它，可以大大方便我们在神经网络方面的工作，降低我们的工作量。众所周知，TensorFlow是基于Python的，所以我们需要使用Python来做。TensorFlow在Windows上仅支持64位Python 3.5。
鉴于Python2已经濒临淘汰，所以，我建议现在以及今后都直接使用Python3来做，除非你手头有一大堆现有的py2的代码项目，否则，Python2迟早是要切换到Python3，到时候又是一大堆代码要手动升级到3版本，3和2的代码差别太大了。
继续阅读“在多平台上安装TensorFlow的方法”