LawGLM-LES 介绍
本方案测试环境为A800
本方案使用了3种模型
1. glm-4-flash # 在线通用大模型，用于通用回答
2. LawGLM-LES # 基于glm-4-9b-chat微调，用于REACT风格工具调用
3. bge-large-zh-v1.5 # 嵌入模型，用于prompt例子检索
1. 技术方案
1.1 技术路线
1. 问题分类助手-glm-4-flash(在线)
首先判断问题需要哪些工具
2. 问题拆分助手-glm-4-flash(在线)
根据上一步提供的工具描述+OneShot，将原始问题进行拆分，每个子问题只对应一个工具和多个依赖的问答对
3. 多智能体-LawGLM-LES(离线微调)
子问题的分发，对上一步拆分后的子问题进行REACT风格的工具调用，并返回工具结果（只返回结果不进行回答，即只调用一次LLM）
4. 总结助手-glm-4-flash(在线)
结合原始问题、每个子问题以及子问题返回的结果进行全面总结与回答
1.2 工具设计
基于24个API进行12+1类工具的整合设计
12类基本工具
基于24个API进行的整合，有些工具对应两个功能，即两个API
1类数据操作工具
功能1：基于text2sql的技术实现数据统计分析
功能2：对API调用的统计
具体实现详见 src/tools/law_tools.py
2. 环境搭建
conda create -n law python=3.10
conda activate law
pip install -r requirements.txt
3. 配置
3.1. 修改配置文件
在 ./cfg.py 中进行 文件路径、TEAMTOKEN、apikey等
3.2. 启动服务
在.server/下分别启动agent模型和embedding模型
以vllm的方式进行加速推理
bash deploy_agent.sh # agent模型
bash deploy_ebd.sh # 嵌入模型
4. 运行
python submit.py
# 结果文件在data/results/下
评论