NDLMoe_1.3B-base
介绍
NDLMoe_1.3B-base：此模型是基于约180亿tokens训练的语言模型，其框架依赖于transformer-decoder only,此模型的具体结构为： 预训练数据主要为天工数据集、百度百科、维基百科中文、维基百科英文以及github代码等。
此模型主要有以下特点：
- 训练语料：即使该版本模型训练的语料较少，但支持中文以及英文包括代码的训练。
- 自己训练分词模型：本次预训练并没有采用其他开原模型，而是从零开始训练的分词模型，词表规模不大，为60930，语料库基本上是采样的天工数据集以及维基百科中英文、github代码。
- 模型配有详细注释以及RMSNorm使用了flash-attention：本次代码模型中的MOE部分参考了transformers库中的Deepseek-MOE的开源代码；RMSNorm部分参考了通义千问开源的代码，代码的细节基本上在文件中有标注，并且配置了flash-attention,目前解决了在RMSNorm归一化上使用了flash-attn,但在self-attention上并没有使用成功，希望在未来能够解决这个问题，以此能够提高训练效率。
- 支持增量预训练：目前本人已经在该模型的基础上进行了增量预训练，未来不就将会开源增量预训练的版本以及细节。
- 设置共享专家：该模型在每个MOE层设置了15个待激活的专家，除此之外还设置两个共享专家，每次输入的tokens都会经过共享专家进行学习，设置共享专家的目的在于能够学习不同tokens中的共有知识，减少专家之间的知识冗余。
- 细粒度专家 ：根据Deeepseek-Moe官方的论文描述，设置更细粒度的专家个数有利于学习不同token之间的语义信息，更能体现专家性，因此本模型在MOE层设置了15个细粒度的专家（FFN块）。
- 专家损失平衡 ：为了防止大部分token只会被少数的几个专家学习，除了常规的自回归任务的交叉熵损失函数以外，还加入了专家损失均衡函数：
$$ \begin{cases} L_{\text {ExpBal }} =\alpha _{1} \sum{i=1}^{N^{\prime}} f{i} P{i} \ f{i} =\frac{N^{\prime}}{K T} \sum{t=1}^{T} 1(\text { Token } t \text { selects Expert } i) \ P{i} =\frac{1}{T} \sum{t=1}^{T} s{i, t} \end{cases} $$
要求
- python 3.8及以上版本
- pytorch 2.0及以上版本
- 建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）
依赖项
运行NDLMoe_1.3B-base，请确保满足上述要求，再执行以下pip命令安装依赖库
pip install transformers==4.39.3 accelerate
推荐安装flash-attn的步骤：（如果没有安装此模型也可以运行，安装了推理会更快一些。）
git clone https://github.com/Dao-AILab/flash-attention
cd flash-attention && pip install .
# 下方安装可选，安装可能比较缓慢。
# pip install csrc/layer_norm
# pip install csrc/rotary
快速使用
您可以通过以下代码轻松调用：
from modelscope import AutoModelForCausalLM, AutoTokenizer
from modelscope import GenerationConfig
tokenizer = AutoTokenizer.from_pretrained("Ndlcwx/NDLMoe_1.3B-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Ndlcwx/NDLMoe_1.3B-base", device_map="auto", trust_remote_code=True).eval()
from transformers import GenerationConfig
gen_config = GenerationConfig(
temperature=0.9,
top_k=30,
top_p=0.5,
do_sample=True,
num_beams=1,
repetition_penalty=1.3,
max_new_tokens=400,
eos_token_id=tokenizer.eos_token_id,
pad_token_id=tokenizer.pad_token_id,
)
prompt= '黑龙江 、吉林'
import torch
device = 'cuda'
tokend = tokenizer(prompt)
input_ids, attention_mask = torch.LongTensor([tokend.input_ids]).to(
device
), torch.LongTensor([tokend.attention_mask]).to(device)
outputs = model.generate(
inputs=input_ids, attention_mask=attention_mask, generation_config=gen_config
)
outs = tokenizer.decode(outputs[0].cpu().numpy())
# outs = outs.replace(prompt,'')
# outs = outs.replace('[EOS]','')
print("当前SLM回答:",outs)
'''
黑龙江 、吉林、辽宁等省（自治区）的31个省(自治区)和新疆生产建设兵团报告新增确诊病例17例，其中境外输入病例6例；无新增死亡病例。
当日新增治愈出院确诊病例1051例，解除医学观察的密切接触者947人，重症患者2481人次;尚在集中隔离医学观察无症状感染者518例。[EOS]
'''
NDLMoe_1.3B-base参数细节 (Model)
NDLMoe_1.3B-base模型规模基本情况如下所示：
| Hyperparameter | Value |
|---|---|
| n_layers | 12 |
| n_heads | 32 |
| d_model | 1600 |
| nsharedexperts | 2 |
| nroutedexperts | 15 |
| numexpertsper_tok | 4 |
| intermediate_size | 14336 |
| moeintermediatesize | 1024 |
| vocab size | 60930 |
| sequence length | 512 |
| firstkdense_replace | 1 |
本模型在位置编码、FFN激活函数和normalization的实现方式上采用了RoPE相对位置编码、SiLU激活函数、RMSNorm（可选安装flash-attention加速）；除此之外，该模型的第一个decoder层并没有采用MOE层，而是采用了以前流行的attention+FFN的配置，MOE层的设置是从第二个layer开始的。）; 在自注意力机制计算中支持使用GQA(Group query attention)，MQA(Multi-query-attention);支持使用NTK缩放。
评论