模型的下载

SDK下载

#安装ModelScope
pip install modelscope

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('xiximayou/Qwen2-UIE')

Git下载

#Git模型下载
git clone https://www.modelscope.cn/xiximayou/Qwen2-UIE.git

模型的使用

import json
from threading import Thread

from modelscope import AutoModelForCausalLM, AutoTokenizer
from transformers import TextIteratorStreamer

device = "cuda:0"  # the device to load the model onto

path = "xxx"

model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype="auto",
).to(device).eval()
tokenizer = AutoTokenizer.from_pretrained(path)

text = "文本: AC米兰退出下赛季欧联杯，参加欧战的资格也就顺延给了本赛季排名在他们身后的罗马和都灵，对于红狼来说，他们可以跳过欧联杯资格赛，直接进入欧联杯小组赛，而都灵则得到了一个参加资格赛的名额。 \n【事件抽取】给定的事件类型列表是['财经/交易-出售/收购', '财经/交易-跌停', '财经/交易-加息', '财经/交易-降价', '财经/交易-降息', '财经/交易-融资', '财经/交易-上市', '财经/交易-涨价', '财经/交易-涨停', '产品行为-发布', '产品行为-获奖', '产品行为-上映', '产品行为-下架', '产品行为-召回', '交往-道歉', '交往-点赞', '交往-感谢', '交往-会见', '交往-探班', '竞赛行为-夺冠', '竞赛行为-晋级', '竞赛行为-禁赛', '竞赛行为-胜负', '竞赛行为-退赛', '竞赛行为-退役', '人生-产子/女', '人生-出轨', '人生-订婚', '人生-分手', '人生-怀孕', '人生-婚礼', '人生-结婚', '人生-离婚', '人生-庆生', '人生-求婚', '人生-失联', '人生-死亡', '司法行为-罚款', '司法行为-拘捕', '司法行为-举报', '司法行为-开庭', '司法行为-立案', '司法行为-起诉', '司法行为-入狱', '司法行为-约谈', '灾害/意外-爆炸', '灾害/意外-车祸', '灾害/意外-地震', '灾害/意外-洪灾', '灾害/意外-起火', '灾害/意外-坍/垮塌', '灾害/意外-袭击', '灾害/意外-坠机', '组织关系-裁员', '组织关系-辞/离职', '组织关系-加盟', '组织关系-解雇', '组织关系-解散', '组织关系-解约', '组织关系-停职', '组织关系-退出', '组织行为-罢工', '组织行为-闭幕', '组织行为-开幕', '组织行为-游行']，论元角色列表是['刑期', '领投方', '立案机构', '怀孕者', '失联者', '融资金额', '出生者', '产子者', '地点', '罢工人员', '原所属组织', '融资轮次', '会见主体', '致谢人', '庆祝方', '加息幅度', '加盟者', '开庭案件', '受伤人数', '加息机构', '约谈对象', '奖项', '发布方', '胜者', '裁员人数', '禁赛机构', '上映方', '坍塌主体', '死者', '死亡人数', '退役者', '被下架方', '订婚主体', '震级', '开庭法院', '赛事名称', '降价幅度', '举报对象', '交易物', '会见对象', '生日方年龄', '拘捕者', '解约方', '降价物', '被拘捕者', '被感谢人', '被解约方', '裁员方', '道歉对象', '被告', '求婚者', '降价方', '罢工人数', '夺冠赛事', '执法机构', '探班主体', '罚款对象', '探班对象', '死者年龄', '袭击对象', '收购方', '被解雇人员', '获奖人', '解散方', '跌停股票', '解雇方', '退赛赛事', '震源深度', '入狱者', '约谈发起方', '召回内容', '颁奖机构', '退赛方', '生日方', '退出方', '出售价格', '禁赛时长', '所加盟组织', '立案对象', '游行人数', '融资方', '活动名称', '出售方', '降息幅度', '上映影视', '袭击者', '游行组织', '涨停股票', '降息机构', '时间', '出轨方', '出轨对象', '离职者', '道歉者', '所属组织', '上市企业', '震中', '发布产品', '原告', '结婚双方', '涨价方', '点赞对象', '参礼人员', '下架产品', '涨价幅度', '被禁赛人员', '离婚双方', '涨价物', '跟投方', '点赞方', '晋级方', '晋级赛事', '求婚对象', '败者', '下架方', '召回方', '停职人员', '分手双方', '罚款金额', '举报发起方', '冠军']。根据事件类型列表和论元角色列表从给定的输入中抽取可能的事件。请以json[{'trigger':'', 'type':'', 'arguments': {角色:论元}},]的格式回答。\n答案："
messages = [
    # {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": text}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=2048,
    do_sample=False,
    top_p=1.0,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

模型的训练

https://github.com/taishan1994/Qwen2-UIE

请遵循qwen2和yayi-uie的使用规范。