英特尔的人工智能产品团队宣布开源nGraph，这是一个面向各种设备和框架的深度神经网络模型编译器。有了nGraph，数据科学家能够专注于数据科学研发，不需要担心如何将DNN模型部署到各种不同设备做高效训练和运行。
nGraph目前直接支持TensorFlow、MXNet以及neon，并可间接地通过ONNX支持CNTK、PyTorch、Caffe2。用户能够在不同的设备上运行这些框架：英特尔架构、GPU和英特尔Nervana神经网络处理器（NNP）。
为什么建立nGraph
当深度学习框架作为模型训练和推断的工具首次出现时，在设计上是围绕kernel为特定设备优化。结果，把深度学习模型部署到其它更先进的设备时，会在模型定义暴露出许多细节问题，从而限制了其适应性和可移植性。
使用传统的方法意味着算法开发者面临把模型升级到其他设备时的沉闷工作。使一个模型能够在不同框架上运行也非常困难，因为开发者必须把模型的本质从对设备的性能调整中分离出来，并转化到新框架中的相似运算，最终在新框架上为优选的设备配置做必要的改变。
我们设计的nGraph库充分地减少了这些工程的复杂性。虽然通过该项目以及英特尔的MKL-DNN这样的库，能够为深度学习原语提供优化核，但仍有多种编译器启发式的方法能够带来进一步的优化。
nGraph是如何工作的？
安装nGraph库，并使用该库编写或编译一个框架来训练模型和执行模型推理。将nGraph指定为框架后端，以在任意支持的系统上用命令行运行该库。我们的中间表征（IntermediateRepresentation，IR）层可以处理所有的设备抽象细节，从而让开发者集中于数据科学、算法和模型的研究，不需要花费太多精力在写代码上。
从更加详细的角度来说：
nGraph核心创建了计算过程的一种强类型和设备无关的无状态图表征。图中的每一个节点或运算对应计算的一个步骤，其中每个步骤从0或更多张量的输入中生成0或更多张量的输出。我们的思想是nGraph运算可以作为深度学习框架中的复杂DNN操作的构建模块，且它能根据需要而衡量是高效编译和推导训练计算还是推断计算。
我们为每个支持的框架开发了框架桥梁（frameworkbridge）；它作为nGraph核心和框架之间的媒介起作用。目前我们已经开发了TensorFlow/XLA、MXNet和ONNX的框架桥梁。由于ONNX仅仅是一种交换格式，因此ONNX的桥梁将通过执行API进行增强。
在nGraph核心和多种设备之间工作的变换器有着类似的作用；变换器使用通用的和设备特定的图转换处理设备抽象。得到的结果是一个函数，可以从框架桥梁执行。变换器是可分配和可解除分配的，可按桥梁的方向读取和写入张量。我们目前已有英特尔架构、英特尔NNP、英伟达cuDNN的变换器，并正积极开发着其它设备的变换器。
评论