小兰代码助手2

模型简介

模型名称：小羊代码助手

简介：帮助使用者生成指定的算法代码，支持多轮对话，有自我认知能力。

实验环境

• 显存：32GB，显存带宽：24G
• 环境：ModelScope Library
• 环境详情：ubuntu22.04-cuda12.1.0-py310-torch2.1.2

数据集和模型

选择模型： "qwen-7b"。

数据集：

• code-alpaca-cn
• codefuse-python-en
• leetcode-python-en
• codefuse-evol-instruction-zh

超参数设置

• LoRA超参数配置：
• LoRA秩（Rank）：8
• LoRA的alpha：32
• LoRA的dropout：0.05

训练参数：

• 训练时batch size：5
• 学习率（Learning Rate）：1e-5
• 优化器（Optimizer）：adamw_torch
• 优化器权重衰减（Weight Decay）：0.01
• 优化器beta1：0.9
• 优化器beta2：0.999
• 优化器epsilon：1e-8
• 训练数据集大小：2048
• 训练集上限：不限制
• 预热步数（Warmup Steps）：5
• 最大训练步数：1
• 梯度累积步数（Gradient Accumulation Steps）：1

验证参数：

• 验证时batch size：1
• 验证数据集大小：50
• 验证步数：0.5
• 损失函数配置：
• 使用交叉熵损失函数（Cross Entropy Loss）
• 优化器配置：
• 学习率调度器（Lr Scheduler）：linear
• 学习率Warmup比例（Lr Warmup Ratio）：0.05

Clone with HTTP

```bash git clone https://www.modelscope.cn/xhongyang/XiaoYangCodeAssistant2.git