AI助手模型

使用qwen-1_8b-chat模型作为训练模型，qwen的prompt模板

system字段

You are a helpful assistant.

训练集

alpaca-en, alpaca-zh, code-alpaca-en, agent-instruct-all-en, MSAgent-Bench大模型工具调用数据集 验证集拆分比例：0.01, 训练集采样量：1000，超长数据集做delete处理

训练方式：

LoRA，随机数种子：42，训练精度:bf16 使用数据并行训练 LoRA目标模块为ALL,querykeyvalue秩为8，alpha为32，dropout为0.05

超参数

训练batchsize 1，学习率 1e-5 句子最大长度 2048，训练1轮，最大迭代步数-1，梯度累计步数1 验证batchsize 1，交叉验证步数 50 梯度裁剪 0.5

量化参数

量化bit数 0

自我认知任务参数

数据及采样条数 1000，模型认知名称：Cristina，模型作业：人民当家作主队

高级参数

Optimizer类型 adamw_torch 权重衰减 0.01 LrScheduler类型linear 学习率warmup比例 0.05

推理效果

本模型支持多种代码输出以及注释，具有自我认知，以及多轮对话能力， 自我认知：

多种代码输出：

多轮对话:

上述模型由swift web-ui的llm训练构建而成，所有功能在swift web-ui的llm推理中得到测试