介绍
本模型从官方发布的版本ShanghaiAILaboratory/internlm-20b q4_0量化得到。量化后11GB，基本可以在mac 16GB以上配置机器上运行。
上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语200亿参数模型版本 InternLM-20B ，InternLM-20B 在超过 2.3T Tokens 包含高质量英文、中文和代码的数据上进行预训练，其中 Chat 版本还经过了 SFT 和 RLHF 训练，使其能够更好、更安全地满足用户的需求。
总体而言，InternLM-20B具有以下的特点：
优异的综合性能
很强的工具调用功能
支持16k语境长度（通过推理时外推）
更好的价值对齐
说明
internlm的gguf是基于llama.cpp b1204做的转换。如果想要运行也需要这个版本的代码。最新代码不能工作。
internlm2的gguf是基于最新的代码做的转换。模型本身按照下面链接给的方法做了修改，权做尝鲜的一个试用版本：
https://github.com/InternLM/InternLM/issues/612
描述
可以使用llama.cpp启动运行推断。支持命令行推断和openai rest api规格的推断。详细配置参考llama.cpp github readme。实际的推断速度很惊艳。值得期待。
llama服务器配置参考：
https://github.com/ggerganov/llama.cpp/blob/master/examples/server/README.md
openai rest api规格配置参考：
https://github.com/ggerganov/llama.cpp/blob/master/examples/server/README.md#api-like-oai
注意
本模型以技术交流为目的，所有使用都是用户自己负责。
Clone with HTTP
git clone https://www.modelscope.cn/ruidong/internLM-20b-chat-gguf.git
评论