Legal-Eagle-InternLM-chat-7B-Merged

模型介绍

本次公布的模型是在 30w条法律问答 DISC-Law-SFT 数据集 上微调的一款书生·浦语大模型 InternLM-chat-7B

训练细节

export CUDA_VISIBLE_DEVICES=0,2,3,4,
accelerate launch --main_process_port 26800 supervised_finetuning.py \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --do_train \
    --use_peft True \
    --model_max_length 2048 \
    --num_train_epochs 2 \
    --learning_rate 2e-5 \
    --warmup_ratio 0.05 \
    --weight_decay 0.05 \
    --logging_strategy steps \
    --logging_steps 10 \
    --save_steps 500 \
    --save_strategy steps \
    --save_total_limit 13 \
    --gradient_accumulation_steps 32 \
    --preprocessing_num_workers 4 \
    --overwrite_output_dir \
    --ddp_timeout 30000 \
    --logging_first_step True \
    --target_modules all \
    --lora_rank 8 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --torch_dtype float16 \
    --fp16 \
    --device_map auto \
    --report_to tensorboard \
    --ddp_find_unused_parameters False \
    --gradient_checkpointing True \
    --cache_dir ./cache

使用

本模型文件是标准的HuggingFace格式，可直接作为模型路径使用。

声明

Legal-Eagle-InternLM 存在一些问题和缺陷，这些问题目前大型语言模型尚未完全解决。尽管该模型在许多任务和情境下能够提供法律相关服务，但需要明确的是，该模型仅供用户参考之用，不能代替专业律师和法律专家的意见和建议。我们鼓励使用 Legal-Eagle-InternLM 的用户以批判性的态度来评估模型的输出，并要理解我们不对因使用该模型而引发的任何问题、风险或不良后果承担责任。

开源许可证

本仓库的代码依照 Apache-2.0 协议开源。