BigDL 基于 Apache Spark 的分布式深度学习库开源项目

我要开发同款
匿名用户2017年01月06日
54阅读
开发技术Scala
所属分类人工智能
授权协议Apache

作品详情

BigDL,是Intel开源的一个基于ApacheSpark的分布式深度学习库。使用BigDL,用户可以将他们的深度学习应用程序作为标准的Spark程序,它可以直接运行在现有的Spark或Hadoop集群之上。

特性:

丰富的深度学习支持。BigDL模仿Torch,提供对深度学习的全方位支持,包括数值计算(通过Tensor)和高层次神经网络。此外,用户可以使用BigDL将预训练的Caffe或Torch模型加载到Spark程序中。

极其高的性能。为了达到高性能,BigDL在每个Spark任务中使用IntelMKL和多线程编程。因此,它比单节点Xeon上的开箱即用的Caffe、Torch或TensorFlow快几个数量级。

有效地横向扩展。BigDL可以通过利用ApacheSpark以及高效实施同步SGD,全面减少Spark上的通信,有效地向外扩展,以“大数据规模”执行数据分析。

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论