Udever 多语言通用文本表示模型

文本表示是将一个输入句子使用机器学习模型转换为一个固定维度的连续向量:

• 输入: 吃完海鲜可以喝牛奶吗?
• 输出: [0.27162,-0.66159,0.33031,0.24121,0.46122,…]

文本的向量表示通常可以用于文本聚类、文本相似度计算、文本向量召回等下游任务中。

Udever 模型是基于 BLOOM 系列模型在 MS MARCO passage + SNLI + MNLI 三个数据上 bitfit 微调得到的文本表示模型，可用于文本检索、代码检索、文本相似性等多种任务。

仅使用英文文本数据进行对比学习微调的 Udever 在英文、中文等多种自然语言和Python、Java等多种编程语言都有很好的表现，可视化的例子见图 1。

上图1中是英文、中文、python代码的embedding可视化，其中蓝色正方形代表英文文本注释，绿色三角形代表python代码，红色圆形代表翻译的中文注释文本，粉色和黄色的图标三元组代表两组语义一致的三元组，即[英文注释，对应的python代码，翻译的中文注释]。

• 左图是原始bloom模型使用SGPT方式产生的向量（embedding），不同语言的向量分布在不同的区域；黄色和粉色的三元组是分散的。
• 右图是Udever-bloom-560m模型的向量，不同语言的向量按照语义均匀分布；黄色的三元组按照语义分布在了一起，粉色也是。

Udever具体性能见表1、2、3，更多细节参见论文 Language Models are Universal Embedders。

1 使用方式和范围

使用方式:

• 直接推理, 对给定文本计算其对应的文本向量表示，向量维度 4096

使用范围:

• 本模型可以使用在通用领域的文本向量表示及其下游应用场景, 包括双句文本相似度计算、query&多doc候选的相似度排序

如何使用

在ModelScope框架上，提供输入文本(默认最长文本长度为300)，即可以通过简单的Pipeline调用来使用模型。ModelScope封装了统一的接口对外提供单句向量表示、双句文本相似度、多候选相似度计算功能

代码示例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

model_id = "damo/udever-bloom-7b1"
pipeline_se = pipeline(Tasks.sentence_embedding, model=model_id)

# 当输入包含“soure_sentence”与“sentences_to_compare”时，会输出source_sentence中首个句子与sentences_to_compare中每个句子的向量表示，以及source_sentence中首个句子与sentences_to_compare中每个句子的相似度。
inputs = {
    "source_sentence": ["吃完海鲜可以喝牛奶吗?"],
    "sentences_to_compare": [
        "不可以，早晨喝牛奶不科学",
        "吃了海鲜后是不能再喝牛奶的，因为牛奶中含得有维生素C，如果海鲜喝牛奶一起服用会对人体造成一定的伤害",
        "吃海鲜是不能同时喝牛奶吃水果，这个至少间隔6小时以上才可以。",
        "吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷"
    ]
}

result = pipeline_se(input=inputs)
print(result)

## scores由两个向量之间的内积(dot)距离得到


# 当输入仅含有soure_sentence时，会输出source_sentence中每个句子的向量表示以及首个句子与其他句子的相似度。
inputs2 = {
    "source_sentence": [
        "不可以，早晨喝牛奶不科学",
        "吃了海鲜后是不能再喝牛奶的，因为牛奶中含得有维生素C，如果海鲜喝牛奶一起服用会对人体造成一定的伤害",
        "吃海鲜是不能同时喝牛奶吃水果，这个至少间隔6小时以上才可以。",
        "吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷"
    ]
}
result = pipeline_se(input=inputs2)
print(result)

模型局限性以及可能的偏差

本模型基于 MS MARCO passage + SNLI + MNLI 三个数据集(通用领域)上训练，在垂直领域文本上的效果为无监督水平，请用户自行评测后决定如何使用

2 模型效果评估

表1: 英文多任务向量评测榜单 MTEB 结果

表2: CodeSearchNet 文本搜索代码评测

| CodeSearchNet | Go | Ruby | Python | Java | JS | PHP | Avg. | |-|-|-|-|-|-|-|-| | CodeBERT | 69.3 | 70.6 | 84.0 | 86.8 | 74.8 | 70.6 | 76.0 | | GraphCodeBERT | 84.1 | 73.2 | 87.9 | 75.7 | 71.1 | 72.5 | 77.4 | | cpt-code S | 97.7 | 86.3 | 99.8 | 94.0 | 86.0 | 96.7 | 93.4 | | cpt-code M | 97.5 | 85.5 | 99.9 | 94.4 | 86.5 | 97.2 | 93.5 | | sgpt-bloom-7b1-msmarco | 76.79 | 69.25 | 95.68 | 77.93 | 70.35 | 73.45 | 77.24 | || | Udever-bloom-560m | 75.38 | 66.67 | 96.23 | 78.99 | 69.39 | 73.69 | 76.73 | | Udever-bloom-1b1 | 78.76 | 72.85 | 97.67 | 82.77 | 74.38 | 78.97 | 80.90 | | Udever-bloom-3b | 80.63 | 75.40 | 98.02 | 83.88 | 76.18 | 79.67 | 82.29 | | Udever-bloom-7b1 | 79.37 | 76.59 | 98.38 | 84.68 | 77.49 | 80.03 | 82.76 |

表3: Multi-cpr 中文特殊领域检索评测结果

3 引用

@article{zhang2023language,
  title={Language Models are Universal Embedders},
  author={Zhang, Xin and Li, Zehan and Zhang, Yanzhao and Long, Dingkun and Xie, Pengjun and Zhang, Meishan and Zhang, Min},
  journal={arXiv preprint arXiv:2310.08232},
  year={2023}
}