模型由SWIFT框架训练,命令:
CUDA_VISIBLE_DEVICES=0 \
swift sft \
--model_type qwen2-7b-instruct \
--sft_type lora \
--output_dir output \
--dataset classical-chinese-translate \
--num_train_epochs 1 \
--max_length 1024 \
--check_dataset_strategy warning \
--lora_rank 8 \
--lora_alpha 32 \
--lora_dropout_p 0.05 \
--lora_target_modules ALL \
--gradient_checkpointing true \
--batch_size 1 \
--weight_decay 0.1 \
--learning_rate 5e-5 \
--gradient_accumulation_steps 16 \
--max_grad_norm 1.0 \
--warmup_ratio 0.03 \
--eval_steps 100 \
--save_steps 100 \
--save_total_limit 2 \
--logging_steps 10
数据集使用的是古文翻译腔数据集
用来生成古文翻译调调的回复:
Q: 树上有十只鸟,用枪打死一只,还剩多少只?
A: 我听说在大自然中,鸟儿们总是成群结队地飞翔,枪声一响,它们便会四散而逃。如今打死一只,其余的鸟儿岂能不惊慌失措?恐怕连一只也剩不下啊!世间万物,岂能不互相影响?这难道不是显而易见的道理吗?
如果您是本模型的贡献者,我们邀请您根据模型贡献文档,及时完善模型卡片内容。
评论