ElasticRec 基于 Kubernetes 的推荐系统解决方案开源项目

我要开发同款
匿名用户2020年02月17日
62阅读
开发技术Python
所属分类推荐引擎、程序开发、机器学习/深度学习
授权协议Apache-2.0

作品详情

ElasticCTR是基于Kubernetes的企业级推荐系统解决方案,该方案融合了百度业务场景下经过不断验证打磨的CTR模型、基于飞桨框架的大规模分布式训练、工业级稀疏参数Serving组件,帮助用户在Kubernetes环境中一键完成推荐系统架构部署,快速搭建和验证CTR模型训练和预测效果,具备高性能、工业级部署、端到端体验及二次深度开发的特性。 

用户只需配置数据源、样本格式即可完成一系列的训练与预测任务。

下载安装命令##CPU版本安装命令pipinstall-fhttps://paddlepaddle.org.cn/pip/oschina/cpupaddlepaddle##GPU版本安装命令pipinstall-fhttps://paddlepaddle.org.cn/pip/oschina/gpupaddlepaddle-gpu

主要特点如下:

1.快速部署

ElasticCTR当前提供的方案是基于百度云的Kubernetes集群进行部署,用户可以很容易扩展到其它原生的Kubernetes环境运行ElasticCTR。

2.高性能

ElasticCTR采用PaddlePaddle提供的全异步分布式训练方式,在保证模型训练效果的前提下,近乎线性的扩展能力可以大幅度节省训练资源。在线服务方面,ElasticCTR采用PaddleServing中高吞吐、低延迟的稀疏参数预估引擎,高并发条件下是常见开源组件吞吐量的10倍以上。

3.可定制

用户可以通过统一的配置文件,修改训练中的训练方式和基本配置,包括在离线训练方式、训练过程可视化指标、HDFS上的存储配置等。除了通过修改统一配置文件进行训练任务配置外,ElasticCTR采用全开源软件栈,方便用户进行快速的二次开发和改造。底层的Kubernetes、Volcano可以轻松实现对上层任务的灵活调度策略;基于PaddlePaddle的灵活组网能力、飞桨的分布式训练引擎Fleet和远程预估服务PaddleServing,用户可以对训练模型、并行训练的模式、远程预估服务进行快速迭代;MLFlow提供的训练任务可视化能力,用户可以快速增加系统监控需要的各种指标。

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论