ModelMeshServing是管理ModelMesh的控制器，是一个通用的模型服务管理/路由层。
入门要快速开始使用ModelMeshServing，请查看快速入门指南。如需帮助，请在此仓库中打开一个issue。组件及其仓库ModelMeshServing当前包含分布在多个仓库中的组件。此处记录了最新版本的受支持版本。 在这个repo中集中跟踪所有组件的问题。核心组件https://github.com/kserve/modelmesh-serving（这个repo）——模型服务控制器https://github.com/kserve/modelmesh -用于协调模型放置和路由的ModelMesh容器运行时适配器modelmesh-runtime-adapter -在每个模型服务pod中运行的容器，并充当ModelMesh和第三方模型服务器容器之间的中介。它的构建会生成一个单一的“多用途”映像，该映像可用作适配器以与每个开箱即用的支持模型服务器配合使用。它还包含“puller”逻辑，负责在移交给相应的适配器逻辑以加载模型（并在卸载后删除）之前从存储中检索模型。此映像还用于自定义ServingRuntimePod的加载/卸载路径中的容器，作为“独立”拉取器。模型服务运行时ModelMeshServing提供与以下模型服务器的开箱即用集成。triton-inference-server -Nvidia的Triton推理服务器seldon-mlserver -Seldon的PythonMLServerServingRuntime自定义资源可用于添加对其他现有或自定义模型服务器的支持，请参阅有关实现自定义服务运行时的文档补充KServeV2REST代理-将RESTfulHTTPAPI转换为gRPC的反向代理服务器。这允许使用KServeV2REST预测协议将推理请求发送到当前仅支持V2gRPC预测协议的ModelMesh模型。库这些是ModelMesh组件使用的辅助Java库。kv-utils -在etcd和Zookeeper上抽象的有用的KV存储配方litelinks-core -基于ApacheThrift的RPC/服务发现库，仅用于ModelMesh内部的通信。构建镜像#Builddevelopimagemakebuild.develop#Afterbuildingthedevelopimage,buildtheruntimeimagemakebuild
点击空白处退出提示
评论