Openbuddy-zen-56b-v21.2-32k-GPTQ-Int4-量化修复

原模型 OpenBuddy/openbuddy-zen-56b-v21.2-32k

【模型更新日期】

2024-06-12

【模型大小】

30.2GB

【修复内容】

1. 对GPTQ Int4量化的校准做了额外优化；减少量化模型的 1.乱吐字、2.无限循环、3.长文能力丢失等情况。

【更新日志】

2024-06-12
首次commit

【介绍】

该模型结合了部分的 Yi-34B-32K模型权重和Llama-3-70B-Instruct模型权重。

使用Yi-34B-32K模型的分词器对多语言数据集进行训练。

更多详情…

【同期量化修复模型】

待工作完成后补充…

【模型下载】

from modelscope import snapshot_download
model_dir = snapshot_download('tclf90/模型名', cache_dir="本地路径")

【vLLM推理（目前仅限Linux）】

1. Python 简易调试

待工作完成后补充…

2. 类ChatGPT RESTFul API Server

>>> python -m vllm.entrypoints.openai.api_server --model 本地路径/tclf90/模型名称