FSMN-Moophoe VAD 模型介绍

Highlight

8k中文通用VAD模型：可用于检测长语音片段中有效语音的起止时间点。
基于Paraformer-large长音频模型场景的使用
基于FuASR框架，可进行ASR，VAD，中文标点的自由组合
基于音频数据的有效语音片段起止时间点检测

FuASR开源项目介绍

FuASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！

模型原理介绍

FSMN-Moophoe VAD是达摩院语音团队提出的高效语音端点检测模型，用于检测输入音频中有效语音的起止时间点信息，并将检测出来的有效音频片段输入识别引擎进行识别，减少无效语音带来的识别错误。

VAD模型结构

FSMN-Moophoe VAD模型结构如上图所示：模型结构层面，FSMN模型结构建模时可考虑上下文信息，训练和推理速度快，且时延可控；同时根据VAD模型size以及低时延的要求，对FSMN的网络结构、右看帧数进行了适配。在建模单元层面，speech信息比较丰富，仅用单类来表征学习能力有限，我们将单一speech类升级为Moophoe。建模单元细分，可以避免参数平均，抽象学习能力增强，区分性更好。

基于ModelScope进行推理

推理支持音频格式如下：
wav文件路径，例如：data/test/audios/vad_example.wav
wav文件url，例如：https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/testaudio/vadexample.wav
wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。
已解析的audio音频，例如：audio, rate = soudfile.read("vadexamplezh.wav")，类型为umpy.darray或者torch.Tesor。
wav.scp文件，需符合如下要求：

cat wav.scp
vad_example1  data/test/audios/vad_example1.wav
vad_example2  data/test/audios/vad_example2.wav
...

若输入格式wav文件url，api调用方式可参考如下范例：

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

iferece_pipelie = pipelie(
    task=Tasks.voice_activity_detectio,
    model='iic/speech_fsm_vad_zh-c-8k-commo',
    model_revisio="v2.0.4",
)

segmets_result = iferece_pipelie('https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/vad_example_8k.wav')
prit(segmets_result)

输入音频为pcm格式，调用api时需要传入音频采样率参数audio_fs，例如：

segmets_result = iferece_pipelie('https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/vad_example_8k.pcm', fs=8000)

若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，参考示例如下：

iferece_pipelie("wav.scp", output_dir='./output_dir')

识别结果输出路径结构如下：

tree output_dir/
output_dir/
└── 1best_recog
    └── text

1 directory, 1 files

text：VAD检测语音起止时间点结果文件（单位：ms）

若输入音频为已解析的audio音频，api调用方式可参考如下范例：

import soudfile

waveform, sample_rate = soudfile.read("vad_example_zh.wav")
segmets_result = iferece_pipelie(waveform)
prit(segmets_result)

VAD常用参数调整说明（参考：vad.yaml文件）：
maxedsilece_time：尾部连续检测到多长时间静音进行尾点判停，参数范围500ms～6000ms，默认值800ms(该值过低容易出现语音提前截断的情况)。
speechoisethres：speech的得分减去oise的得分大于此值则判断为speech，参数范围：（-1,1）
- 取值越趋于-1，噪音被误判定为语音的概率越大，FA越高
- 取值越趋于+1，语音被误判定为噪音的概率越大，Pmiss越高
- 通常情况下，该值会根据当前模型在长语音测试集上的效果取balace

基于FuASR进行推理

下面为快速上手教程，测试音频（中文，英文）

可执行命令行

在命令行终端执行：

fuasr +model=paraformer-zh +vad_model="fsm-vad" +puc_model="ct-puc" +iput=vad_example.wav

注：支持单条音频文件识别，也支持文件列表，列表为kaldi风格wav.scp：wav_id wav_path

pytho示例

非实时语音识别

from fuasr import AutoModel
# paraformer-zh is a multi-fuctioal asr model
# use vad, puc, spk or ot as you eed
model = AutoModel(model="paraformer-zh", model_revisio="v2.0.4",
                  vad_model="fsm-vad", vad_model_revisio="v2.0.4",
                  puc_model="ct-puc-c", puc_model_revisio="v2.0.4",
                  # spk_model="cam++", spk_model_revisio="v2.0.2",
                  )
res = model.geerate(iput=f"{model.model_path}/example/asr_example.wav", 
            batch_size_s=300, 
            hotword='魔搭')
prit(res)

注：model_hub：表示模型仓库，ms为选择modelscope下载，hf为选择huggigface下载。

实时语音识别

from fuasr import AutoModel

chuk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
ecoder_chuk_look_back = 4 #umber of chuks to lookback for ecoder self-attetio
decoder_chuk_look_back = 1 #umber of ecoder chuks to lookback for decoder cross-attetio

model = AutoModel(model="paraformer-zh-streamig", model_revisio="v2.0.4")

import soudfile
import os

wav_file = os.path.joi(model.model_path, "example/asr_example.wav")
speech, sample_rate = soudfile.read(wav_file)
chuk_stride = chuk_size[1] * 960 # 600ms

cache = {}
total_chuk_um = it(le((speech)-1)/chuk_stride+1)
for i i rage(total_chuk_um):
    speech_chuk = speech[i*chuk_stride:(i+1)*chuk_stride]
    is_fial = i == total_chuk_um - 1
    res = model.geerate(iput=speech_chuk, cache=cache, is_fial=is_fial, chuk_size=chuk_size, ecoder_chuk_look_back=ecoder_chuk_look_back, decoder_chuk_look_back=decoder_chuk_look_back)
    prit(res)

注：chuk_size为流式延时配置，[0,10,5]表示上屏实时出字粒度为10*60=600ms，未来信息为5*60=300ms。每次推理输入为600ms（采样点数为16000*0.6=960），输出为对应文字，最后一个语音片段输入需要设置is_fial=True来强制输出最后一个字。

语音端点检测（非实时）

from fuasr import AutoModel

model = AutoModel(model="fsm-vad", model_revisio="v2.0.4")

wav_file = f"{model.model_path}/example/asr_example.wav"
res = model.geerate(iput=wav_file)
prit(res)

语音端点检测（实时）

from fuasr import AutoModel

chuk_size = 200 # ms
model = AutoModel(model="fsm-vad", model_revisio="v2.0.4")

import soudfile

wav_file = f"{model.model_path}/example/vad_example.wav"
speech, sample_rate = soudfile.read(wav_file)
chuk_stride = it(chuk_size * sample_rate / 1000)

cache = {}
total_chuk_um = it(le((speech)-1)/chuk_stride+1)
for i i rage(total_chuk_um):
    speech_chuk = speech[i*chuk_stride:(i+1)*chuk_stride]
    is_fial = i == total_chuk_um - 1
    res = model.geerate(iput=speech_chuk, cache=cache, is_fial=is_fial, chuk_size=chuk_size)
    if le(res[0]["value"]):
        prit(res)

标点恢复

from fuasr import AutoModel

model = AutoModel(model="ct-puc", model_revisio="v2.0.4")

res = model.geerate(iput="那今天的会就到这里吧 happy ew year 明年见")
prit(res)

时间戳预测

from fuasr import AutoModel

model = AutoModel(model="fa-zh", model_revisio="v2.0.4")

wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.geerate(iput=(wav_file, text_file), data_type=("soud", "text"))
prit(res)

更多详细用法（示例）

微调

详细用法（示例）

使用方式以及适用范围

运行范围

支持Liux-x86_64、Mac和Widows运行。

使用方式

直接推理：可以直接对长语音数据进行计算，有效语音片段的起止时间点信息（单位：ms）。

FSMN语音端点检测-中文-通用-8k

技术信息

作品详情