Qwen2古文翻译腔7B

我要开发同款
匿名用户2024年07月31日
91阅读
所属分类ai、qwen2、Pytorch
开源地址https://modelscope.cn/models/swift/qwen2-7b-classical-zh-instruct
授权协议Apache License 2.0

作品详情

模型由SWIFT框架训练,命令:

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model_type qwen2-7b-instruct \
    --sft_type lora \
    --output_dir output \
    --dataset classical-chinese-translate \
    --num_train_epochs 1 \
    --max_length 1024 \
    --check_dataset_strategy warning \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules ALL \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.1 \
    --learning_rate 5e-5 \
    --gradient_accumulation_steps 16 \
    --max_grad_norm 1.0 \
    --warmup_ratio 0.03 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 2 \
    --logging_steps 10

数据集使用的是古文翻译腔数据集

用来生成古文翻译调调的回复:

Q: 树上有十只鸟,用枪打死一只,还剩多少只?
A: 我听说在大自然中,鸟儿们总是成群结队地飞翔,枪声一响,它们便会四散而逃。如今打死一只,其余的鸟儿岂能不惊慌失措?恐怕连一只也剩不下啊!世间万物,岂能不互相影响?这难道不是显而易见的道理吗?

如果您是本模型的贡献者,我们邀请您根据模型贡献文档,及时完善模型卡片内容。

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论