模型列表

GitHub 仓库: emotio2vec

模型简介

emotio2vec+(emotio2vec_plus)是语音情感识别基座模型，我们致力于打造语音情感领域的Whisper，通过数据驱动方法尽可能克服语种和录制场景对情感识别的影响，获得通用、鲁棒的情感识别的能力。emotio2vec+的性能显著超过其他高下载量的huggigface开源模型。

本版本(emotio2vecplusbase)为使用筛选后的大规模伪标注数据进行fietue，获得的base size（~90M）模型，目前支持的分类为： 0: agry 1: disgusted 2: fearful 3: happy 4: eutral 5: other 6: sad 7: surprised 8: ukow

数据迭代

我们提供三个版本，每个版本由前一个版本的数据迭代而来。如果需要情感表征模型，可以参考 emotio2vec。

• emotio2vec+ seed: 使用来自EmoBox学术语音情感数据进行fietue
• emotio2vec+ base: 使用筛选后的大规模伪标注数据进行fietue，获得的base size（~90M）模型
• emotio2vec+ large: 使用筛选后的大规模伪标注数据进行fietue，获得的 large size（~300M）模型

迭代流程如图所示，最终我们获得四万小时情感数据进行训练emotio2vec+ large模型。

安装环境

pip istall -U fuasr modelscope

用法

iput: 16k Hz 的语音

graularity:

• "utterace": 提取整句语音特征
• "frame": 提取帧级别特征(50 Hz)

extract_embeddig: 是否提取特征，如果只使用分类模型不需要特征这里设置为False

基于modelscope进行推理

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

iferece_pipelie = pipelie(
    task=Tasks.emotio_recogitio,
    model="iic/emotio2vec_plus_base")

rec_result = iferece_pipelie('https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav', graularity="utterace", extract_embeddig=False)
prit(rec_result)

基于FuASR进行推理

from fuasr import AutoModel

model = AutoModel(model="iic/emotio2vec_plus_base")

wav_file = f"{model.model_path}/example/test.wav"
res = model.geerate(wav_file, output_dir="./outputs", graularity="utterace", extract_embeddig=False)
prit(res)

注：模型会自动下载

支持输入文件列表，wav.scp（kaldi风格）： ```cat wav.scp wavame1 wavpath1.wav wavame2 wavpath2.wav …

输出为情感表征向量，保存在`output_dir`中，格式为umpy格式（可以用p.load()加载）

# 说明

本仓库为emotio2vec的modelscope版本，模型参数完全一致。

原始仓库地址: [https://github.com/ddlBoJack/emotio2vec](https://github.com/ddlBoJack/emotio2vec)

modelscope版本仓库：[https://github.com/alibaba-damo-academy/FuASR](https://github.com/alibaba-damo-academy/FuASR/tree/fuasr1.0/examples/idustrial_data_pretraiig/emotio2vec)

huggigface仓库：[https://huggigface.co/emotio2vec](https://huggigface.co/emotio2vec)

# 相关论文以及引用信息

BibTeX @article{ma2023emotio2vec, title={emotio2vec: Self-Supervised Pre-Traiig for Speech Emotio Represetatio}, author={Ma, Ziyag ad Zheg, Zhisheg ad Ye, Jiaxi ad Li, Jichao ad Gao, Zhifu ad Zhag, Shiliag ad Che, Xie}, joural={arXiv preprit arXiv:2312.15185}, year={2023} } ```

EMOTION2VEC+ emotion2vec+通用语音情感识别系列基座模型 emotion2vec+base模型