Llama3-8B-Chinese-Chat-GGUF

Llama3-8B-Chinese-Chat GGUF格式量化模型（Q4KM, Q5KM）

使用 Ollama 运行模型

# 将模型导入 ollama
ollama create Llama3-8B-Chinese-Chat-Q4_K_M -f ./Modelfile

# 运行模型
ollama run Llama3-8B-Chinese-Chat-Q4_K_M

SDK下载

#安装ModelScope
pip install modelscope

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('BrianZhou/Llama3-8B-Chinese-Chat-GGUF')

Git下载

#Git模型下载
git clone https://www.modelscope.cn/BrianZhou/Llama3-8B-Chinese-Chat-GGUF.git

如果您是本模型的贡献者，我们邀请您根据模型贡献文档，及时完善模型卡片内容。