Data2vec模型介绍

Highlights

Data2vec中文预训练模型上线，欢迎试用
- 提供基于AISHELL-2数据集训练得到的中文预训练模型，可以用于下游任务微调，例如语音识别等。
- 可以直接作为特征提取器使用，提取后的特征可以代替常用的FBANK等。
- 提供基于AISHELL-1数据集微调得到的中文语音识别模型，相比wav2vec2.0，验证集CER相对降低13.6%，测试集CER相对降低12.8%。
- 采用FBANK特征替代原始音频作为输入，提升模型训练和推理效率。

Release Notes

2023年1月（预计1月16号发布）：funasr-0.1.6, modelscope-1.1.4
模型功能完善：
- Modelscope模型推理pipeline，新增加多种输入音频方式，如wav.scp、音频bytes、音频采样点、WAV格式等。
- Paraformer-large模型，新增加基于ModelScope微调定制模型，新增加batch级解码，加快推理速度。
- AISHELL-1学术集Paraformer模型， AISHELL-1学术集ParaformerBert模型， AISHELL-1学术集Conformer模型、 AISHELL-2学术集Paraformer模型， AISHELL-2学术集ParaformerBert模型、 AISHELL-2学术集Conformer模型，新增加基于ModelScope微调定制模型，其中，Paraformer与ParaformerBert模型新增加batch级解码，加快推理速度。
上线新模型：
- Paraformer-large长音频模型，集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳。
- 中文无监督预训练Data2vec模型，采用Data2vec结构，基于AISHELL-2数据的中文无监督预训练模型，支持ASR或者下游任务微调模型。
- 语音端点检查VAD模型，可用于检测长语音片段中有效语音的起止时间点。
- 中文标点预测通用模型，可用于语音识别模型输出文本的标点预测。
- 8K UniASR流式模型，8K UniASR模型，一种流式与离线一体化语音识别模型，进行流式语音识别的同时，能够以较低延时输出离线识别结果来纠正预测文本。
- Paraformer-large基于AISHELL-1微调模型、AISHELL-2微调模型，将Paraformer-large模型分别基于AISHELL-1与AISHELL-2数据微调。
- 说话人确认模型，可用于说话人确认，也可以用来做说话人特征提取。
- 小尺寸设备端Paraformer指令词模型，Paraformer-tiny指令词版本，使用小参数量模型支持指令词识别。
将原TensorFlow模型升级为Pytorch模型，进行推理，并支持微调定制，包括：
- 16K 模型：Paraformer中文、 Paraformer-large中文、 UniASR中文、 UniASR-large中文、 UniASR中文流式模型、 UniASR方言、 UniASR方言流式模型、 UniASR日语、 UniASR日语流式模型、 UniASR印尼语、 UniASR印尼语流式模型、 UniASR葡萄牙语、 UniASR葡萄牙语流式模型、 UniASR英文、 UniASR英文流式模型、 UniASR俄语、 UniASR俄语流式模型、 UniASR韩语、 UniASR韩语流式模型、 UniASR西班牙语、 UniASR西班牙语流式模型、 UniASR粤语简体、 UniASR粤语简体流式模型、
- 8K 模型：Paraformer中文、 UniASR中文、 UniASR中文流式模型
2022年11月：funasr-0.1.4, modelscope-1.1.3
Paraformer-large非自回归模型上线，多个公开数据集上取得SOTA效果，FunASR框架：
- 支持基于ModelScope推理。
- 支持基于FunASR框架微调和推理。

项目介绍

近年来，随着预训练的流行，许多研究致力于利用预训练的方式来充分利用大量的无监督数据，帮助提升在有监督语音数据有限情况下的语音识别的性能。wav2vec，HuBERT，WavLM等方法，都通过无监督预训练的方式在语音识别任务上取得了不错的识别率。2022年，Meta AI在ICML上提出了data2vec，具体结构如下图琐事，其能同时应用于语音、视觉、自然语言处理等不同模态，且都取得了不错的性能。

data2vec模型结构

更详细的描述见：论文

如何使用与训练自己的模型

本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库FunASR进一步进行模型的领域定制化。

在Notebook中开发

对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。

基于ModelScope进行推理

推理支持音频格式如下：
wav文件路径，例如：data/test/audios/asr_example.wav
wav文件url，例如：https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/testaudio/asrexample.wav
wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。
已解析的audio音频，例如：audio, rate = soundfile.read("asr_example.wav")，类型为numpy.ndarray或者torch.Tensor。
wav.scp文件，需符合如下要求：

cat wav.scp
asr_example1  data/test/audios/asr_example1.wav
asr_example2  data/test/audios/asr_example2.wav
...

若输入格式wav文件url，api调用方式可参考如下范例：

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch')

rec_result = inference_pipeline(audio_in='https://modelscope.oss-cn-beijing.aliyuncs.com/test/audios/asr_example.wav')
print(rec_result)

输入音频为wav格式，api调用方式可参考如下范例:

rec_result = inference_pipeline(audio_in='asr_example.wav')

若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，api调用方式可参考如下范例:

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch',
    output_dir='./output_dir')

inference_pipeline("wav.scp")

识别结果输出路径结构如下：

tree output_dir/
output_dir/
└── 1best_recog
    ├── score
    ├── text
    └── token

1 directory, 3 files

score：识别路径得分

text：语音识别结果文件

token：带空格的语音识别结果文件

若输入音频为已解析的audio音频，api调用方式可参考如下范例：

import soundfile

waveform, sample_rate = soundfile.read("asr_example.wav")
rec_result = inference_pipeline(audio_in=waveform)

基于ModelScope进行微调

基于ModelScope上数据集进行微调：

以AISHELL-1数据集为例，完整数据集已经上传ModelScope，可通过数据集英文名（speechasraishell1_trainsets）搜索：

import os
from modelscope.metainfo import Trainers
from modelscope.trainers import build_trainer
from funasr.datasets.ms_dataset import MsDataset

exp_dir = './exp'
if not os.path.exists(exp_dir):
    os.makedirs(exp_dir)

# dataset split ['train', 'validation']
ds_dict = MsDataset.load(dataset_name='speech_asr_aishell1_trainsets', namespace='speech_asr')

kwargs = dict(
    model='damo/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch',
    data_dir=ds_dict,
    work_dir=exp_dir)

trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
trainer.train()

基于私有数据集进行微调:

私有数据集格式按如下准备：

tree ./example_data/
./example_data/
├── validation
│   ├── text
│   └── wav.scp
└── train
    ├── text
    └── wav.scp
2 directories, 4 files

其中，text文件中存放音频标注，wav.scp文件中存放wav音频绝对路径，样例如下：

cat ./example_data/text
BAC009S0002W0122 而 对 楼市 成交 抑制 作用 最 大 的 限 购
BAC009S0002W0123 也 成为 地方 政府 的 眼中 钉

cat ./example_data/wav.scp
BAC009S0002W0122 /mnt/data/wav/train/S0002/BAC009S0002W0122.wav
BAC009S0002W0123 /mnt/data/wav/train/S0002/BAC009S0002W0123.wav

安装FunASR框架，安装命令如下：

git clone https://github.com/alibaba/FunASR.git
cd FunASR
pip install --editable ./

训练私有数据代码范例如下：

import os
from modelscope.metainfo import Trainers
from modelscope.trainers import build_trainer
from funasr.datasets.ms_dataset import MsDataset


def modelscope_finetune(params):
    if not os.path.exists(params.output_dir):
        os.makedirs(params.output_dir, exist_ok=True)
    # dataset split ["train", "validation"]
    ds_dict = MsDataset.load(params.data_path)
    kwargs = dict(
        model=params.model,
        data_dir=ds_dict,
        dataset_type=params.dataset_type,
        work_dir=params.output_dir,
        batch_bins=params.batch_bins,
        max_epoch=params.max_epoch,
        lr=params.lr)
    trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
    trainer.train()


if __name__ == '__main__':
    from funasr.utils.modelscope_param import modelscope_args
    params = modelscope_args(model="damo/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch", data_path="./data")
    params.output_dir = "./checkpoint"              # 模型保存路径
    params.data_path = "./example_data/"            # 数据路径
    params.dataset_type = "small"                   # 小数据量设置small，若数据量大于1000小时，请使用large
    params.batch_bins = 16000                       # batch size，如果dataset_type="small"，batch_bins单位为fbank特征帧数，如果dataset_type="large"，batch_bins单位为毫秒，
    params.max_epoch = 50                           # 最大训练轮数
    params.lr = 0.00005                             # 设置学习率

    modelscope_finetune(params)

若使用多卡进行训练，可将上述代码保存为py文件（如finetune.py）后，执行如下命令：

CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > log.txt 2>&1

在本地机器中开发

基于ModelScope进行微调和推理

支持基于ModelScope上数据集及私有数据集进行定制微调和推理，使用方式同Notebook中开发。

基于FunASR进行微调和推理

FunASR框架支持魔搭社区开源的工业级的语音识别模型的training & finetuning，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在Github开源：https://github.com/alibaba-damo-academy/FunASR 。若在使用过程中遇到任何问题，欢迎联系我们：联系方式

FunASR框架安装

安装FunASR和ModelScope

pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
git clone https://github.com/alibaba/FunASR.git
cd FunASR
pip install --editable ./

基于FunASR进行微调和推理

接下来会以私有数据集为例，介绍如何在FunASR框架中使用Data2vec预训练模型进行微调，以及使用基于Data2vec预训练模型微调得到的模型进行推理。

微调

cd egs_modelscope/data2vec/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch
python finetune.py

若修改输出路径、数据路径、采样率、batch_size等配置，可参照在Notebook开发中私有数据微调部分的代码，修改finetune.py文件中配置。若想使用多卡进行微调训练，可按执行如下命令：

CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > log.txt 2>&1

推理

cd egs_modelscope/data2vec/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch
python infer.py

基于本地微调训练模型推理

cd egs_modelscope/data2vec/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch
python infer_after_finetune.py

AISHELL-1数据集微调性能

testset	CER(%)
dev	3.8
test	4.1

使用方式以及适用范围

运行范围

现阶段只能在Linux-x86_64运行，不支持Mac和Windows。

使用方式

直接推理：基于提供的微调模型直接对输入音频进行解码，输出目标文字。
微调：加载提供的预训练模型，采用私有或者开源数据进行下游任务模型微调。

使用范围与目标场景

微调模型：适合与离线语音识别场景，如录音文件转写，配合GPU推理效果更加
预训练模型：基于提供的预训练模型，采用私有或者开源数据进行模型微调。另外，预训练采用学术数据集AISHELL-2，可在学术科研场景下，作为语音识别等下游任务的初值模型。

模型局限性以及可能的偏差

考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%）。

Data2vec语音识别-预训练-中文-aishell2-16k-pytorch

作品详情

Data2vec模型介绍

Highlights

Release Notes

项目介绍

如何使用与训练自己的模型

在Notebook中开发

基于ModelScope进行推理

基于ModelScope进行微调

在本地机器中开发

基于ModelScope进行微调和推理

基于FunASR进行微调和推理

FunASR框架安装

基于FunASR进行微调和推理

AISHELL-1数据集微调性能

使用方式以及适用范围

模型局限性以及可能的偏差

相关论文以及引用信息

重点城市程序员兼职推荐

重点岗位程序员兼职推荐