SeldonCore是一个用于在Kubernetes上部署机器学习模型的开源平台。
机器学习部署面临许多挑战。SeldonCore打算帮助应对这些挑战。它的高级目标是:
允许数据科学家使用任何机器学习工具包或编程语言创建模型。我们计划最初涵盖以下工具/语言:
Tensorflow模型
Sklearn模特
基于Python的模型包括
Spark模型
H2O模型
R模型
在部署时通过REST和gRPC自动公开机器学习模型,以便轻松集成到需要预测的业务应用程序中。
允许将复杂的运行时推理图部署为微服务。这些图可以包括:
模型-可执行机器学习模型的运行时推理
路由器-将API请求路由到子图。示例:AB测试,多武装强盗。
组合器-结合子图的响应。示例:模型集合
变形器 -转换请求或响应。示例:转换要素请求。
处理已部署模型的完整生命周期管理:
更新运行时图表,无需停机
缩放
监控
安全
评论