零一万物-1.5-9B-Chat-16K-GPTQ-Int3-量化修复
【模型更新日期】
2024-05-25
【模型大小】
4.4GB
【量化修复】
调优了现有 AWQ 与 GPTQ 量化算法的量化策略。带有量化修复标签的Int3模型，可以比肩默认AWQ与GPTQ算法的Int8模型的能力。
量化修复可以极大减少模型的
1.乱吐字、2.无限循环、3.长文能力丢失等量化损失造成的模型不可用的情况。调优后的量化模型，
AWQ与GPTQ模型在能力上没有表现出明显区别。同时考虑到GPTQ的vLLM引擎的并发推理效率最好，所以不再制作AWQ模型。调优后的量化模型，
int4与int3模型在能力上没有表现出明显区别，所以也不再制作int4模型。
【同期量化修复模型】
【模型下载】
from modelscope import snapshot_download
model_dir = snapshot_download('tclf90/模型名', cache_dir="本地路径")
【vLLM推理（目前仅限Linux）】
1. Python 简易调试
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams
max_model_len, tp_size = 4000, 1
model_name = "本地路径/tclf90/模型名称" # 例："./my_models/tclf90/Qwen1.5-32B-Chat-GPTQ-Int3"
model_name = model_name.replace('.', '___')
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.7, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])
messages_list = [
[{"role": "user", "content": "你是谁"}],
[{"role": "user", "content": "介绍一下你自己"}],
[{"role": "user", "content": "用python写一个快排函数"}],
]
prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]
outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)
generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)
2. 类ChatGPT RESTFul API Server
>>> python -m vllm.entrypoints.openai.api_server --model 本地路径/tclf90/模型名称
【Transformer推理】
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
model_name = "本地路径/tclf90/模型名称" # 例："./my_models/tclf90/Qwen1.5-32B-Chat-GPTQ-Int3"
model_name = model_name.replace('.', '___')
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id
messages = [
{"role": "user", "content": "你好你是谁"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)
result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)
评论