本系统主要对外提供大模型的开放能力,包括不限于通用知识问答、情报问答、RAG知识检索、数据分类分级、聊天插件、智能体等能力,并实现了排队超时等待机制,根据模型层支持的线程数进行动态的并发控制,保证服务的稳定降低模型层的压力。为了处理耗时长的任务以及流式的输出功能,项目中大量使用异步编程、响应式编程方法。在平台管理端实现了基于租户的认证权限管理功能及订单充值、智能应用、智能插件的管理功能。
作为技术负责人,负责整个平台端的技术架构选型及设计工作。在需求评审,识别其中的技术难点,及时做好技术预研工作,如果需求涉及引擎、模型的工作则需及时沟通对接。拆分并分配任务,做好平台端整个开发进度的把控。同时做好外部产品对接的支撑工作,保障各产线顺利接入恒脑。