DevOps-Model-14B-Base
? Hugging Face • ? ModelScope
DevOps-Model 是一个开发运维大模型,主要致力于在 DevOps 领域发挥实际价值。目前,DevOps-Model 能够帮助工程师回答在 DevOps 生命周期中遇到的问题。欢迎访问我们 Github 获取更多信息 DevOps-Model
DevOps-Model-7B-Base 是我们经过高质量 DevOps 语料训练基于 Qwen-14B 加训后的 Base 模型。我们的 Base 模型在开源和 DevOps 领域相关的评测数据上可以取得同规模模型中的最佳效果。同时我们也开源了经过对齐后的 DevOps-Model-14B-Chat 模型,和 7B 参数量的DevOps-Model-7B-Base 和 DevOps-Model-7B-Chat 。
同时我们也在搭建 DevOps 领域专属的评测基准 DevOpsEval,用来更好评测 DevOps 领域模型的效果。
模型评测
我们先选取了 CMMLU 和 CEval 两个评测数据集中和 DevOps 相关的一共六项考试。总计一共 574 道选择题,具体信息如下:
评测数据集 | 考试科目 | 题数 |
---|---|---|
CMMLU | Computer science | 204 |
CMMLU | Computer security | 171 |
CMMLU | Machine learning | 122 |
CEval | College programming | 37 |
CEval | Computer architecture | 21 |
CEval | Computernetwork | 19 |
我们分别测试了 Zero-shot 和 Five-shot 的结果,我们的 DevOps-Model-7B-Base 模型可以在测试的同规模的开源 Base 模型中取得最高的成绩,后续我们也会进行更多的测试。
Base 模型 | Zero-shot 得分 | Five-shot 得分 |
---|---|---|
DevOps-Model-14B-Base | 70.73 | 73.00 |
Qwen-14B-Base | 69.16 | 71.25 |
Baichuan2-13B-Base | 55.75 | 61.15 |
快速使用
我们提供简单的示例来说明如何利用 ? Transformers 快速使用 Devops-Model-7B-Base 模型
要求
- python 3.8 及以上版本
- pytorch 2.0 及以上版本
- 建议使用CUDA 11.4及以上
依赖项安装
下载模型后,直接通过以下命令安装 requirements.txt 中的包就可以
cd path_to_download_model
pip isntall -r requirements.txt
模型推理示例
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
tokenizer = AutoTokenizer.from_pretrained("path_to_DevOps-Model-14B-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("path_to_DevOps-Model-14B-Base", device_map="auto", trust_remote_code=True, bf16=True).eval()
# 指定 generation_config
model.generation_config = GenerationConfig.from_pretrained("path_to_DevOps-Model-14B-Base", trust_remote_code=True)
inputs = '''Java 中 HashMap 的实现原理是'''
input_ids = tokenizer(inputs, return_tensors='pt')
input_ids = input_ids.to(model.device)
pred = model.generate(**input_ids)
print(tokenizer.decode(pred[0]))
# Java 中 HashMap 的实现原理是怎样的?【基于 JDK8】 HashMap 是一个散列表,它存储的内容是键值对(key-value)映射。 HashMap 实现了 Map 接口,根据键的 HashCode 值存储数据,具有很快的访问速度,最多允许一条记录的键为 null,不支持线程同步。 HashMap 是无序的,即不会记录插入的顺序。...
免责声明
由于语言模型的特性,模型生成的内容可能包含幻觉或者歧视性言论。请谨慎使用 DevOps-Model 系列模型生成的内容。 如果要公开使用或商用该模型服务,请注意服务方需承担由此产生的不良影响或有害言论的责任,本项目开发者不承担任何由使用本项目(包括但不限于数据、模型、代码等)导致的危害或损失。
致谢
本项目参考了以下开源项目,在此对相关项目和研究开发人员表示感谢。
评论