Clone with HTTP
git clone https://www.modelscope.cn/tiansz/chatglm3-6b-ggml.git
该模型是 chatglm3-6b 的 ggml 型号模型的仓库，其中 chatglm3-6b 展示了不错的性能，但我仍然想使用更低的资源加载该模型，并且性能仍然不损失，这时候我们就要了解 ggml 仓库了。ggml 实现了 C++ 的模型推理，相比 python 推理有了更低的资源消耗以及更快的推理速度，但模型调用方式以及环境配置有些复杂，但仍然推荐学习
评论