1.支持多个大模型同时服务,图像生成/文本生成/视频 等全域开源大模型;
2.支持910b/tpu/cpu/gpu部署,支持单卡和多卡混合部署,并发支持;
3.demo使用了3种大模型, 2层级分支处理逻辑, 实现了订腾讯会议、代码解释生成、图片生成和处理一般问题;
4.深度支持RAG,检索增强生成,层次化知识存储;demo支持上传文档,体验专属个人助手(用完即删不会存档,txt或md文件);
5.全套代码独有,支持前后端定制,支持大模型预训练/指令微调 等微调工作;
6.给出和现有系统混合协作的解决方案;