模型简介

模型的名字为UU,作者为SPARKS。

模型可以根据要求给出正确的示例代码。

实验环境

采用魔搭社区Notebook开发，环境为ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.11.0
gradio版本为3.50.1

训练方法

数据集为code-alpaca-en、codefuse-python-en
微调的模型为qwen-7b-chat
超参数
-  system 你是一个代码助手，可以根据用户的要求输出对应的代码。
-  train_dataset_sample 10000
-  save_steps 500
-  lora_target_modules ALL
-  learning_rate 1e-5
-  gradient_accumulation_steps 1
-  eval_batch_size 1
-  self_cognition_sample 500
-  model_name UU
-  model_author SPARKS

示例代码

1.安装swift及gradio

pip install ms-swift -U
pip install gradio==3.50.1

2.启动web-ui

swift web-ui

3.设置好参数启动训练，为避免出错，删去了logging_dir的命令，直接输出在nohup.out里