BentoML 统一模型部署框架开源项目

我要开发同款
匿名用户2023年05月27日
68阅读
开发技术Python
所属分类人工智能、机器学习/深度学习
授权协议Apache-2.0

作品详情

BentoML是AI应用程序开发人员的平台,提供工具和基础架构来简化整个AI产品开发生命周期。BentoML使创建准备好部署和扩展的机器学习服务变得容易。

数据科学家和ML工程师可以使用BentoML:

加速并标准化将ML模型投入生产的过程构建可扩展的高性能预测服务在生产中持续部署、监控和运行预测服务

BentoML原生支持所有流行的ML框架,包括Pytorch、Tensorflow、JAX、XGBoost、HuggingFace、MLFlow,以及最新的预构建开源LLM(大型语言模型)和生成式AI模型。

BentoML可扩展你使用Python构建的AI工作负载。多模型图推理、并行模型推理和自适应批处理,以及许多高级AI功能,都包含在易于使用的Python原语中。

BentoML是一个统一的online、offline和streaming框架;使用一个统一接口进行开发,该接口可以作为RESTAPIendpoin或gRPCservice轻松推出,集成到批处理工作负载的数据管道中,或使用流式架构进行实时处理。

BentoML是用于创建AI应用程序的开放标准,它带来了一致性,使开发人员能够在所有AI产品团队中变得更加敏捷、创新和高效。

HighlightsUnified ModelServingAPI

适用于Tensorflow、PyTorch、XGBoost、Scikit-Learn、ONNX等的框架无关的模型打包为预处理/后处理和业务逻辑编写自定义Python代码以及模型推理为在线(RESTAPI或gRPC)、离线批处理和流式推理应用相同的代码用于构建多模型推理管道或图形的简单抽象无摩擦过渡到生产的标准化流程

将Bento构建为ML服务的标准可部署工件自动生成具有所需依赖项的 docker镜像使用GPU进行推理的简单CUDA设置与MLOps生态系统的丰富集成,包括Kubeflow、Airflow、MLFlow、Triton具有强大的性能优化的可扩展性

自适应批处理根据服务器端最佳性能动态分组推理请求Runner 抽象将模型推理与你的自定义代码分开进行 scales通过自动配置最大化你的GPU和多核CPU利用率以DevOps友好的方式部署到任何地方

通过以下方式简化生产部署工作流程:BentoMLCloud:部署便当的最快方式,简单且大规模Yatai:在Kubernetes上大规模部署模型bentoctl:在AWSSageMaker、Lambda、ECE、GCP、Azure、Heroku等平台上快速部署模型!使用Spark或Dask运行离线批量推理作业对Prometheus指标和OpenTelemetry的内置支持用于高级CI/CD工作流程的灵活API
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论