BigDL,是Intel开源的一个基于ApacheSpark的分布式深度学习库。使用BigDL,用户可以将他们的深度学习应用程序作为标准的Spark程序,它可以直接运行在现有的Spark或Hadoop集群之上。
特性:
丰富的深度学习支持。BigDL模仿Torch,提供对深度学习的全方位支持,包括数值计算(通过Tensor)和高层次神经网络。此外,用户可以使用BigDL将预训练的Caffe或Torch模型加载到Spark程序中。
极其高的性能。为了达到高性能,BigDL在每个Spark任务中使用IntelMKL和多线程编程。因此,它比单节点Xeon上的开箱即用的Caffe、Torch或TensorFlow快几个数量级。
有效地横向扩展。BigDL可以通过利用ApacheSpark以及高效实施同步SGD,全面减少Spark上的通信,有效地向外扩展,以“大数据规模”执行数据分析。
评论