RANER介绍

What's New

• 2022年12月：
• 训练所使用的序列理解统一框架AdaSeq发布，提供30+ SOTA的复现代码！
• RaNER家族模型均可在链接进行访问！所使用的NER数据集均整理在链接。

模型描述

本方法采用Trasformer-CRF模型，使用XLM-Roberta作为预训练模型底座，结合使用外部工具召回的相关句子作为额外上下文，使用Multi-view Traiig方式进行训练。 模型结构如下图所示：

可参考论文：Improvig Named Etity Recogitio by Exteral Cotext Retrievig ad Cooperative Learig

期望模型使用方式以及适用范围

本模型主要用于给输入英语句子产出命名实体识别结果。用户可以自行尝试输入英语句子。具体调用方式请参考代码示例。

如何使用

在安装ModelScope完成之后即可使用amed-etity-recogitio(命名实体识别)的能力, 默认单句长度不超过512。

代码范例

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

er_pipelie = pipelie(Tasks.amed_etity_recogitio, 'damo/lp_raer_amed-etity-recogitio_eglish-large-ecom')
result = er_pipelie('pizza shovel')

prit(result)
# {'output': [{'type': 'OBJECT_PRODUCT', 'start': 0, 'ed': 5, 'spa': 'pizza'}, {'type': 'PRODUCT', 'start': 6, 'ed': 12, 'spa': 'shovel'}]}

基于AdaSeq进行微调和推理（仅需一行命令）

AdaSeq是一个基于ModelScope的一站式NLP序列理解开源工具箱，支持高效训练自定义模型，旨在提高开发者和研究者们的开发和创新效率，助力模型快速定制和前沿论文工作落地。

1. 安装AdaSeq

pip istall adaseq

2. 模型微调

准备训练配置，将下面的代码保存为trai.yaml。

该配置中的数据集为示例数据集toy_msra，如需使用自定义数据或调整参数，可参考《AdaSeq模型训练最佳实践》，准备数据或修改配置文件。AdaSeq中也提供了大量的模型、论文、比赛复现示例，欢迎大家使用。

experimet:
  exp_dir: experimets/
  exp_ame: toy_msra
  seed: 42

task: amed-etity-recogitio

dataset:
  ame: damo/toy_msra

preprocessor:
  type: sequece-labelig-preprocessor
  max_legth: 100

data_collator: SequeceLabeligDataCollatorWithPaddig

model:
  type: sequece-labelig-model
  embedder:
    model_ame_or_path: damo/lp_raer_amed-etity-recogitio_eglish-large-ecom
  dropout: 0.1
  use_crf: true

trai:
  max_epochs: 5
  dataloader:
    batch_size_per_gpu: 8
  optimizer:
    type: AdamW
    lr: 5.0e-5
    param_groups:
      - regex: crf
        lr: 5.0e-1
    optios:
      cumulative_iters: 4

evaluatio:
  dataloader:
    batch_size_per_gpu: 16
  metrics:
    - type: er-metric

运行命令开始训练。在GPU上训练需要至少6G显存，可以根据实际GPU情况调整batch_size等参数。

adaseq trai -c trai.yaml

3. 模型推理

模型会保存在 ./experimets/toy_msra/${yymmddHHMMSS.ffffff}/output/

可以将上文推理示例代码中的model_id替换为本地路径（绝对路径）进行推理

保存的模型也可上传到ModelScope进行使用

模型局限性以及可能的偏差

本模型基于ecom-e数据集上训练，在垂类领域英语文本上的NER效果会有降低，请用户自行评测后决定如何使用。

训练数据介绍

• ecom-e: 内部英文电商领域数据集

数据评估及结果

模型在ecom-e测试数据评估结果:

各个类型的性能如下:

相关论文以及引用信息

如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：

@iproceedigs{wag-etal-2021-improvig,
    title = "Improvig Named Etity Recogitio by Exteral Cotext Retrievig ad Cooperative Learig",
    author = "Wag, Xiyu  ad
      Jiag, Yog  ad
      Bach, Nguye  ad
      Wag, Tao  ad
      Huag, Zhogqiag  ad
      Huag, Fei  ad
      Tu, Kewei",
    booktitle = "Proceedigs of the 59th Aual Meetig of the Associatio for Computatioal Liguistics ad the 11th Iteratioal Joit Coferece o Natural Laguage Processig (Volume 1: Log Papers)",
    moth = aug,
    year = "2021",
    address = "Olie",
    publisher = "Associatio for Computatioal Liguistics",
    url = "https://aclathology.org/2021.acl-log.142",
    pages = "1800--1812",
}

@iproceedigs{wag-etal-2022-damo,
    title = "{DAMO}-{NLP} at {S}em{E}val-2022 Task 11: A Kowledge-based System for Multiligual Named Etity Recogitio",
    author = "Wag, Xiyu  ad
      She, Yogliag  ad
      Cai, Jiog  ad
      Wag, Tao  ad
      Wag, Xiaobi  ad
      Xie, Pegju  ad
      Huag, Fei  ad
      Lu, Weimig  ad
      Zhuag, Yuetig  ad
      Tu, Kewei  ad
      Lu, Wei  ad
      Jiag, Yog",
    booktitle = "Proceedigs of the 16th Iteratioal Workshop o Sematic Evaluatio (SemEval-2022)",
    moth = jul,
    year = "2022",
    address = "Seattle, Uited States",
    publisher = "Associatio for Computatioal Liguistics",
    url = "https://aclathology.org/2022.semeval-1.200",
    pages = "1457--1468",
}

@iproceedigs{zhag-etal-2022-domai,
title = "Domai-Specific NER via Retrievig Correlated Samples",
author = "Zhag, Xi  ad
    Yog, Jiag  ad
    Wag, Xiaobi  ad
    Hu, Xumig  ad
    Su, Yueheg  ad
    Xie, Pegju  ad
    Zhag, Meisha",
booktitle = "Proceedigs of the 29th Iteratioal Coferece o Computatioal Liguistics",
moth = oct,
year = "2022",
address = "Gyeogju, Republic of Korea",
publisher = "Iteratioal Committee o Computatioal Liguistics"
}

RANER介绍 What's New 2022年12月： 训练所使用的序列理解统一框架AdaSeq发布，提供30+ SOTA的复现代码！ RaNER家族模型均可在链接进行访问！所使用的NER数据集均