开源地址
https://modelscope.cn/models/iic/punc_ct-transformer_cn-en-common-vocab471067-large授权协议
Apache License 2.0

Cotrollable Time-delay Trasformer模型介绍

Highlights

中文标点通用模型：可用于语音识别模型输出文本的标点预测，支持中英文输入。
基于Paraformer-large长音频模型场景的使用
基于FuASR框架，可进行ASR，VAD，标点的自由组合
基于纯文本输入的标点预测

FuASR开源项目介绍

FuASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！

模型原理介绍

Cotrollable Time-delay Trasformer是达摩院语音团队提出的高效后处理框架中的标点模块。本项目为中文通用标点模型，模型可以被应用于文本类输入的标点预测，也可应用于语音识别结果的后处理步骤，协助语音识别模块输出具有可读性的文本结果。

Cotrollable Time-delay Trasformer模型结构

Cotrollable Time-delay Trasformer 模型结构如上图所示，由 Embeddig、Ecoder 和 Predictor 三部分组成。Embeddig 是词向量叠加位置向量。Ecoder可以采用不同的网络结构，例如self-attetio，coformer，SAN-M等。Predictor 预测每个toke后的标点类型。

在模型的选择上采用了性能优越的Trasformer模型。Trasformer模型在获得良好性能的同时，由于模型自身序列化输入等特性，会给系统带来较大时延。常规的Trasformer可以看到未来的全部信息，导致标点会依赖很远的未来信息。这会给用户带来一种标点一直在变化刷新，长时间结果不固定的不良感受。基于这一问题，我们创新性的提出了可控时延的Trasformer模型（Cotrollable Time-Delay Trasformer, CT-Trasformer），在模型性能无损失的情况下，有效控制标点的延时。

更详细的细节见：

论文： CONTROLLABLE TIME-DELAY TRANSFORMER FOR REAL-TIME PUNCTUATION PREDICTION AND DISFLUENCY DETECTION

基于ModelScope进行推理

以下为三种支持格式及api调用方式参考如下范例：

text.scp文件路径，例如example/puc_example.txt，格式为： key + "\t" + value

cat example/puc_example.txt
1       跨境河流是养育沿岸人民的生命之源
2       从存储上来说仅仅是全景图片它就会是图片的四倍的容量
3       那今天的会就到这里吧happy ew year明年见

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

iferece_piplie = pipelie(
    task=Tasks.puctuatio,
    model='iic/puc_ct-trasformer_c-e-commo-vocab471067-large',
    model_revisio="v2.0.4")

rec_result = iferece_piplie('example/puc_example.txt')
prit(rec_result)

text二进制数据，例如：用户直接从文件里读出bytes数据

rec_result = iferece_piplie('我们都是木头人不会讲话不会动')

text文件url，例如：https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/testtext/pucexample.txt

rec_result = iferece_piplie('https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_text/puc_example.txt')

基于FuASR进行推理

下面为快速上手教程，测试音频（中文，英文）

可执行命令行

在命令行终端执行：

fuasr +model=paraformer-zh +vad_model="fsm-vad" +puc_model="ct-puc" +iput=vad_example.wav

注：支持单条音频文件识别，也支持文件列表，列表为kaldi风格wav.scp：wav_id wav_path

pytho示例

非实时语音识别

from fuasr import AutoModel
# paraformer-zh is a multi-fuctioal asr model
# use vad, puc, spk or ot as you eed
model = AutoModel(model="paraformer-zh", model_revisio="v2.0.4",
                  vad_model="fsm-vad", vad_model_revisio="v2.0.4",
                  puc_model="ct-puc-c", puc_model_revisio="v2.0.4",
                  # spk_model="cam++", spk_model_revisio="v2.0.2",
                  )
res = model.geerate(iput=f"{model.model_path}/example/asr_example.wav", 
            batch_size_s=300, 
            hotword='魔搭')
prit(res)

注：model_hub：表示模型仓库，ms为选择modelscope下载，hf为选择huggigface下载。

实时语音识别

from fuasr import AutoModel

chuk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
ecoder_chuk_look_back = 4 #umber of chuks to lookback for ecoder self-attetio
decoder_chuk_look_back = 1 #umber of ecoder chuks to lookback for decoder cross-attetio

model = AutoModel(model="paraformer-zh-streamig", model_revisio="v2.0.4")

import soudfile
import os

wav_file = os.path.joi(model.model_path, "example/asr_example.wav")
speech, sample_rate = soudfile.read(wav_file)
chuk_stride = chuk_size[1] * 960 # 600ms

cache = {}
total_chuk_um = it(le((speech)-1)/chuk_stride+1)
for i i rage(total_chuk_um):
    speech_chuk = speech[i*chuk_stride:(i+1)*chuk_stride]
    is_fial = i == total_chuk_um - 1
    res = model.geerate(iput=speech_chuk, cache=cache, is_fial=is_fial, chuk_size=chuk_size, ecoder_chuk_look_back=ecoder_chuk_look_back, decoder_chuk_look_back=decoder_chuk_look_back)
    prit(res)

注：chuk_size为流式延时配置，[0,10,5]表示上屏实时出字粒度为10*60=600ms，未来信息为5*60=300ms。每次推理输入为600ms（采样点数为16000*0.6=960），输出为对应文字，最后一个语音片段输入需要设置is_fial=True来强制输出最后一个字。

语音端点检测（非实时）

from fuasr import AutoModel

model = AutoModel(model="fsm-vad", model_revisio="v2.0.4")

wav_file = f"{model.model_path}/example/asr_example.wav"
res = model.geerate(iput=wav_file)
prit(res)

语音端点检测（实时）

from fuasr import AutoModel

chuk_size = 200 # ms
model = AutoModel(model="fsm-vad", model_revisio="v2.0.4")

import soudfile

wav_file = f"{model.model_path}/example/vad_example.wav"
speech, sample_rate = soudfile.read(wav_file)
chuk_stride = it(chuk_size * sample_rate / 1000)

cache = {}
total_chuk_um = it(le((speech)-1)/chuk_stride+1)
for i i rage(total_chuk_um):
    speech_chuk = speech[i*chuk_stride:(i+1)*chuk_stride]
    is_fial = i == total_chuk_um - 1
    res = model.geerate(iput=speech_chuk, cache=cache, is_fial=is_fial, chuk_size=chuk_size)
    if le(res[0]["value"]):
        prit(res)

标点恢复

from fuasr import AutoModel

model = AutoModel(model="ct-puc", model_revisio="v2.0.4")

res = model.geerate(iput="那今天的会就到这里吧 happy ew year 明年见")
prit(res)

时间戳预测

from fuasr import AutoModel

model = AutoModel(model="fa-zh", model_revisio="v2.0.4")

wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.geerate(iput=(wav_file, text_file), data_type=("soud", "text"))
prit(res)

更多详细用法（示例）

微调

详细用法（示例）

Bechmark

中文标点预测通用模型在自采集的通用领域业务场景数据上有良好效果。训练数据大约100M个sample，每个sample可能包含1句或多句。

自采集数据（20000+ samples）

precisio	recall	f1_score
56.0	62.5	58.8

使用方式以及适用范围

运行范围

现阶段只能在Liux-x86_64运行，不支持Mac和Widows。

使用方式

直接推理：可以直接对输入文本进行计算，输出带有标点的目标文字。

使用范围与目标场景

适合对文本数据进行标点预测，文本长度不限。

CT-Transformer标点-中英文-通用-large

技术信息

作品详情