模型介绍
本次公布的模型是在 30w条法律问答 DISC-Law-SFT 数据集 上微调的一款书生·浦语大模型 InternLM-chat-7B
训练细节
accelerate launch src/train_bash.py \
--stage sft \
--do_train \
--finetuning_type lora \
--lora_target all \
--output_dir first_intern2_output \
--overwrite_cache \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 400 \
--learning_rate 5e-5 \
--num_train_epochs 2.0 \
--plot_loss \
--fp16
使用
本模型文件是标准的HuggingFace格式，可作为模型路径使用。
声明
Legal-Eagle-InternLM 存在一些问题和缺陷，这些问题目前大型语言模型尚未完全解决。尽管该模型在许多任务和情境下能够提供法律相关服务，但需要明确的是，该模型仅供用户参考之用，不能代替专业律师和法律专家的意见和建议。我们鼓励使用 Legal-Eagle-InternLM 的用户以批判性的态度来评估模型的输出，并要理解我们不对因使用该模型而引发的任何问题、风险或不良后果承担责任。
开源许可证
本仓库的代码依照 Apache-2.0 协议开源。
评论