AquilaChat2-34B-16K量化版

说明

从官方AquilaChat2-34B-16K使用llama.cpp tag b1382, 通过Q4_0方法量化得到。

使用

可以使用llama.cpp或者LocalAI本地运行，提供Openai规格的rest api。有18GB显卡或者空闲内存即可。

模型转换，部署和推断可以参考下文：
https://gi3l6979xds.feishu.cn/docx/AK7Ydfx5mo2Pr4xuOavclTr7nbc

提示模板

系统提示：A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human questions.
System:{System}
Human:{Human}
Assistant:{Assistant}

模型下载

 git clone https://www.modelscope.cn/ruidong/AquilaChat2-34B-16K-QU.git
 cd AquilaChat2-34B-16K-QU
 git lfs pull -I AquilaChat2-34B-16K-Q4_0.gguf