数字人直播

我要开发同款
Nanthan2024年01月02日
51阅读
开发技术语音识别、深度学习、ue、http、python
所属分类LLM、paddlespeech、UE4、数字人

作品详情

语音识别:
基于paddlespeech搭建语音识别模型,识别对话
大语言模型部署:
本地部署大语言模型chatGLM2-6B,给出接口接收语音识别结果,并根据问题给出回答,将输出给到UE
数字人搭建:
使用UE4搭建数字人,在UE中给出端口接受大语言模型输出的文字,在UE中调用语音生成算法,生成相应语音。
唇语算法:
基于facebook唇语算法生成数字人唇形
语音生成:
基于paddlespeech语音生成算法
语音克隆:
基于两百条数据和预训练模型训练个人模型
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论