AI对讲服务

我要开发同款
proginn17030121062023年11月15日
83阅读
开发技术java

作品详情

项目是单个服务,项目下主要模块:音箱入库、门禁入库、用户音箱绑定、音箱门禁绑定交互、小程序服务、OSS 云存储、声网视频对话、后台管理系统。期间音箱入库及门禁入库采用 Mybatis-Plus 将数据持久到数据库中,音箱门禁视频对话采用声网 SDK 实现,将 token、Key 等数据发送给消息中间件 MQTT,再由硬件通过 MQTT 获取 token 后请求声网 API 实现通话,MQTT 主要作用于视频对话请求和结束,以及心跳存活扫描,例如在音箱没电或者关机状态下不允许发送视频请求,音箱硬件每隔 20 秒发送该音箱的 SN 序列号给 MQ,服务器监听 MQ 发来的消息,将心跳包存到 redis 中并重新刷新缓存,五分钟内未发送,Redis 数据过期即视为死亡。监测危险靠近功能是用阿里云 OSS 做云存储,硬件会自动识别危险行为,并将视频文件上传至服务器,再由服务器发送到 OSS 中。用户登录小程序后通过请求服务器返回 OSS 中保存的数据。此外,音箱还集成了喜马拉雅播放电台音乐的功能,服务器使用密钥请求喜马拉雅获取电台数据,再由服务器做数据处理后通过 MQTT 发送给指定的音箱,服务器此时相当于一个中转站。利用 nlp2 模型对音箱收发来的语音文本做指令处理,例如 “获取某个电台”、“今晚八点开启离家模式” 等等。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论