基于人工智能的AI问诊导巡大模型项目旨在提升患者的就医效率，缓解医疗资源压力。以下是项目的详细讲解：
遇到的问题:
· 整体架构: 如何在项目框架中选择前后端以及模型api的响应。
· 流式回答：如何实现用户能够获得流式回答，减少模型的响应时间。
· 模型裁决：如何让两个大模型的回答能够自动进行裁决，生成最优的回复。
· 意图识别：如何确保模型能够识别用户的问题是在进行问诊，而非闲聊。
· 信息整合：如何将RAG检索和知识图谱的信息与提示词相结合，提供给大模型用于回复。
项目搭建过程:
· 系统架构：项目使用前端页面与FastAPI框架进行前后端系统搭建，实现无缝交互。
· 数据来源：数据主要来自爬取的医学网站和开源医学对话数据集，用于训练意图识别模型，以准确判断用户输入的意图，分为闲聊和问诊两类。
· 项目流程与LangChain应用结合：
对于闲聊场景，系统直接与大模型进行对话。
对于问诊场景，系统首先检索RAG向量数据库，召回相关文本，并使用命名实体识别技术识别用户提问的疾病 或症状。利用知识图谱（Neo4j）获取相关命名实体识别的科室和症状信息，最终构建提示词模板供大模型使用。
· 模型使用：项目涉及五个模型，包括千问7B和14B的LoRA训练模型、自预训练的意图识别模型、ModelScope中的RAG检索模型和命名实体识别模型。
· VllM部署：所有模型和相关数据均在本地服务器部署，使用VLLM对千问7B和14B模型进行加速推理，实现实时对话功能。
· Agent智能决策：在此基础上，使用本地千问14B的智能体对两个模型的回复进行裁决，模型能够自主判断并返回最优回复给用户。
最终效果:
· 实现了模型的实时回复, 比单次推理快上3秒;
· 使用agent对模型的回复进行裁决, 效果测试接近于人工审核;
· 实现了模型自动思考决策行为+rag和知识图谱的信息作为提示词工程, 减少了模型的幻觉问题;