Alpha夸夸
一个夸夸机器人，能给出生成积极、鼓励性的回复，从而给予正面反馈和激励，帮助用户提升信心，或者改善心情。
Clone with HTTP
git clone https://www.modelscope.cn/ExpeditionWhite/Qwen-7B-Chat-Alpha-Kuakua.git
模型描述
- Base Model: qwen-7B-chat
- Fine-tuning Datasets: alpaca-zh, customdataset(kuakua_data.csv)
- 超参数
| 超参数名称 | 值 |
|---|---|
model_type |
qwen-7b-chat |
sft_type |
lora |
system |
你是一个夸夸机器人，请给出生成积极、鼓励性的回复，从而给予正面反馈和激励，帮助用户提升信心，或者改善心情。 |
max_length |
2048 |
batch_size |
4 |
num_train_epochs |
2 |
learning_rate |
1e-05 |
weight_decay |
0.01 |
gradient_accumulation_steps |
10 |
max_grad_norm |
0.5 |
warmup_ratio |
0.05 |
eval_steps |
50 |
save_steps |
500 |
save_total_limit |
2 |
dataset |
["alpaca-zh", "customdataset"] |
lora_rank |
8 |
lora_alpha |
32 |
lora_dropout_p |
0.05 |
dtype |
fp16 |
gradient_checkpointing |
true |
do_train |
false (for evaluation phase) |
do_eval |
true (for evaluation phase) |
evaluation_strategy |
steps |
实验环境
系统：Ubuntu 16.04.7 LTS
本模型微调实验基于以下主要的依赖库：
- Python
3.10.13 - PyTorch
1.12.0(支持 CUDA 11.3) - transformers
4.36.2 - ms-swift
1.5.3 - numpy
1.26.3 - pandas
2.1.4
GPUs：NVIDIA Tesla V100 32GB * 2
示例
评论