作业1_2_python代码生成助手

模型简介

• 模型名称：Python代码生成助手
• 简介：帮助使用者生成指定的Python算法代码，支持多轮对话，并有自我认知能力。

实验环境

• GPU：A10，24G显存
• 环境：ModelScope Library
• 环境详情：ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.11.0

数据集和模型

• 基础模型：qwen7bchat
• 数据集：
• DatasetName.alpaca_zh
• DatasetName.alpaca_en
• DatasetName.leetcodepythonen
• DatasetName.codefusepythonen

超参数

• LoRA超参数配置：
• LoRA秩（Rank）：8
• LoRA的alpha：32
• LoRA的dropout：0.05
• 训练参数：
• 训练时batch size：5
• 学习率（Learning Rate）：1e-5
• 优化器（Optimizer）：adamw_torch
• 优化器权重衰减（Weight Decay）：0.01
• 优化器beta1：0.9
• 优化器beta2：0.999
• 优化器epsilon：1e-8
• 训练数据集大小：2048
• 训练集上限：不限制
• 预热步数（Warmup Steps）：5
• 最大训练步数：1
• 梯度累积步数（Gradient Accumulation Steps）：1
• 验证参数：
• 验证时batch size：1
• 验证数据集大小：50
• 验证步数：0.5
• 损失函数配置：
• 使用交叉熵损失函数（Cross Entropy Loss）
• 优化器配置：
• 学习率调度器（Lr Scheduler）：linear
• 学习率Warmup比例（Lr Warmup Ratio）：0.05

示例

实现Python代码生成：

具有自我认知能力和多轮对话：