基于人工智能的AI问诊导巡大模型项目旨在提升患者的就医效率，缓解医疗资源压力。以下是项目的详细讲解： 遇到的问题: · 整体架构: 如何在项目框架中选择前后端以及模型api的响应。 · 流式回答：如何实现用户能够获得流式回答，减少模型的响应时间。 · 模型裁决：如何让两个大模型的回答能够自动进行裁决，生成最优的回复。 · 意图识别：如何确保模型能够识别用户的问题是在进行问诊，而非闲聊。 · 信息整合：如何将RAG检索和知识图谱的信息与提示词相结合，提供给大模型用于回复。 项目搭建过程: · 系统架构：项目使用前端页面与FastAPI框架进行前后端系统搭建，实现无缝交互。 · 数据来源：数据主要来自爬取的医学网站和开源医学对话数据集，用于训练意图识别模型，以准确判断用户输入的意图，分为闲聊和问诊两类。 · 项目流程与LangChain应用结合： 对于闲聊场景，系统直接与大模型进行对话。 对于问诊场景，系统首先检索RAG向量数据库，召回相关文本，并使用命名实体识别技术识别用户提问的疾病 或症状。利用知识图谱（Neo4j）获取相关命名实体识别的科室和症状信息，最终构建提示词模板供大模型使用。 · 模型使用：项目涉及五个模型，包括千问7B和14B的LoRA训练模型、自预训练的意图识别模型、ModelScope中的RAG检索模型和命名实体识别模型。 · VllM部署：所有模型和相关数据均在本地服务器部署，使用VLLM对千问7B和14B模型进行加速推理，实现实时对话功能。 · Agent智能决策：在此基础上，使用本地千问14B的智能体对两个模型的回复进行裁决，模型能够自主判断并返回最优回复给用户。 最终效果: · 实现了模型的实时回复, 比单次推理快上3秒; · 使用agent对模型的回复进行裁决, 效果测试接近于人工审核; · 实现了模型自动思考决策行为+rag和知识图谱的信息作为提示词工程, 减少了模型的幻觉问题;