该模型当前使用的是默认介绍模版，处于“预发布”阶段，页面仅限所有者可见。

请根据模型贡献文档说明，及时完善模型卡片内容。ModelScope平台将在模型卡片完善后展示。谢谢您的理解。

Clone with HTTP

 git clone https://www.modelscope.cn/heitao5200/TRLLM-Model-4bit_turbomind.git

计算 minmax

lmdeploy lite calibrate /root/code/HT/TRLLM-Model-v2 --calib-dataset "c4" --calib-samples 128 --calib-seqlen 2048 --work-dir ./trll2-model-4bit

量化权重模型

lmdeploy lite auto_awq /root/code/HT/TRLLM-Model-v2 --w-bits 4 --w-group-size 128 --work-dir ./trll2-model-4bit

量化后的模型转换成turbomind 格式

lmdeploy convert internlm2-chat-7b ./trll2-model-4bit --dst-path ./workspacetrll2model4bitturbomind --model-format awq --group-size 128

模型测评

python run.py --custom-dataset-path /root/code/HT/mcqdata.jsonl --hf-path /root/code/HT/trll2-model-4bit --tokenizer-path /root/code/HT/trll2-model-4bit --tokenizer-kwargs paddingside='left' truncation='left' trustremotecode=True --model-kwargs trustremotecode=True device_map='auto' --max-seq-len 2048 --max-out-len 16 --batch-size 4 --num-gpus 1 --debug

模型测试

lmdeploy chat turbomind ./workspacetrll2model4bitturbomind