IPenchVLive该软件全部为我单人独自开发而成 IPenchVLive是一个终极的动面捕解决方案，可以解决从入门到专业的所有的动面捕需求，是我们团队目前的主力项目，其相较于市面上现有解决方案具有灵活、全面、可定制、高性能、同时支持AI驱动与真人驱动的特点。 相关技术栈： 客户端 语言：C#、C++ 开发框架：Unity+自研框架HotEngine+Odin工具 UI框架：DoozyUI 快速开发， FariyUI落地 服务端 语言：C# 开发框架: Asp.net core IPenchVLive主要分为一下几大模块 1. 热更新框架 HotEngine 2. Mediapipe框架 源自Google 开源项目 mediapipe 3. 肢体关键点标记算法 4. 插件框架 PluginManager 5. 姿态解析算法 6. Live2d/3D模型管理器 7. 虚拟相机 源自UnityCapture项目 我进行了二次开发 8. 可视化数据调试器（开发环境专用/发布时会自动剔除） 9. 3D模型自动标准化模块 10. 变量控制映射系统 11. 控制系统 12. 面部解析算法 13. 联动模块 由于该项目模块很多，多方面都具有难度，因此这边只挑选最有代表性的几个进行讲解。 模块实现功能与技术难点 热更新框架HotEngine 此为我独自研发的一套用于Unity热更新的框架，可为Unity开发人员提供和原生几乎一致的开发体验，脚本通过HotHelper模糊搜索挂载，并提供BehaviourContainer，用于储存编辑器信息，当脚本加载后，Container会自动挂在对应的monobehaviour并将储存的数据实例化到实力上，其后便会被销毁回收。 热更新框架支持不停机逻辑热更，热更层与主工程间使用不同的程序域，在C#中程序必须以Domain为单位进行加载卸载，不同Domain间代码不互通，因此会涉及到十分复杂的跨域继承问题，跨域通讯问题。 热更新框架之余还配有大量的通用库，如对象池、单例框架、数据管理器、插件框架PluginManager。可以在多项目中通用 姿态与面部解析算法 此为我针对标记点设计的一套解析算法，由于模型本身的抖动很大，也具有不小的偏差，所以在设计解析算法时需要进行许多的纠偏。在设计时，我引入了人体关节最大可动范围到姿态解析算法中，当标记点间角度超出可动范围，则会线性插值至符合限定的范围内并大量使用了缓动插值，从而极大的提升了最终的捕捉效果。面捕算法也有类似的操作，不过面捕是选择标准化路线，通过人体五官横纵比、关键点间距等解析人的面部表情，目前已能高效解析34种表情，仍在努力提高中。 虚拟相机 主要用于支持透明推流增加设计师的创作自由度，支持有透明物件的模型。为了这样的目标，我们必须虚拟相机才行，因为抠像的方式无法支持透明通道。四处寻找最终找到了Unity上最成熟的项目UnityCapture，但该项目仍然不完美，仍有点下次，如当没有数据留推送或直接访问虚拟相机不开推流时，会输出报错界面。为了解决这样的问题，我对项目代码进行了一些改动，并将其默认推送数据改为了“黑色透明”这样便有了完美的可支持透明推流的虚拟相机。 3D模型自动标准化 不同的3D模型有不同的BlendShape，完全没有统一的标准，若是直接使用面捕数据驱动很容易就会因表情无法正确映射出现鬼畜的表情。而3D模型自动标准化模块便是将所有的模型自动处理为拥有特定表情的模型，如“下巴开”“左眼开闭”等，该模块通过将面部的对应顶点按比例实现了模型的表情的自动标准化，目前该模块只支持Vroid到处的模型，对于其它非标模型暂时还不支持，目前我还在训练关键点标记算法以将该处理器泛化。 不过对于其它暂不支持的自动处理的模型，可以使用变量控制映射系统手动进行表情的映射。

该项目前后端均为我单人独立设计、开发而成，参考B站设计而成。 涉及 技术栈 前端 语言： TS HTML SCSS 框架： Vue3 UI库： Element-plus 后端 语言: C# 框架: Asp.net core 该项目主要模块为，社区模块、个人主页模块、超文本编辑/预览器、Live2D实时预览器、文件加解密系统、站内消息系统等，项目中绝大部分功能均被编写为通用组件，可跨项目直接使用。其中社区模块是指与社交有关的功能之和，即作品介绍、展示、评论区等具有完备的功能，能够满足与b站一致的社交体验。 社区的各类功能应十分常见所以此处不做介绍，仅介绍我们平台的独特功能 Live2D实时预览器与加解密系统所提供的功能： 允许用户直接操控别人发布的Live2D作品，可以直观的感受到模型的建模精度，并且在此基础上平台提供了模型加解密机制，其它用户只能通过平台工具浏览模型，无法直接下载数据到其它平台上使用，只能通过购买或按作者设置条件获取模型源文件，使作者分享模型时不用担心模型被盗用的问题。 个人主页： 用户通过这个界面，来查看目标作者所发布的其它作品 站内消息系统： 1、 社区行为（如被点赞、被收藏）通知。 2、 通知系统，当管理员通过后台发布公告时，能够通过通知系统通知每一位用户。同时当用户派的单有人接单时，也会收到通知。 3、 站内消息，允许用户间发送私信，该系统提供了emoji表情的功能，用户可以通过这个系统来和想要的人聊天，或是沟通其它事，如二手物品的价格。 4、 消息以气泡的形式现实当前未读消息的数量，当消息被拉取时，后台会将其标记为已读。 主要难点： 1. Live2D实时预览器，由于Live2D官方的实现十分的丑陋、文件管理不便、并且无法实现美观的动态背景. 因此我重构了Live2D官方的渲染器，不再直接控制Webgl，而是使用Three.js的Mesh与Texture间接的渲染Live2D，将其改为了There.js的实现。其好处是制作动态背景动画/效果会十分的方便，若是直接使用webgl那就没法做了。 2. 超文本编辑器防XSS，本软件通过设置链接白名单来防范XSS 3. 前端框架的设计，框架之下路由需要动态生成，且需要可应用多种配置， 如鼠标放到用户头像上是，会有一个菜单，菜单为横纵排列，一级菜单横向排列，二级菜单纵向排列。此处菜单选项用于页面的路由。 导航条上的菜单依然为二级菜单，一级横向排列，二级以后下拉框显示选项，此处菜单用于作品类型导航。 为了适应不同类型的菜单，路由需要，所以设计时我将菜单配置与路由解耦，根据菜单配置进行路由，不在和路由表强相关。 框架还设有全局组件“用户登录/注册器”，当用户执行必须登录才可执行的操作时，通过调用框架函数便可检查状态，未登录则弹出登录框。 项目地址https://www.ipench.cn

该项目主要模块为，社区、小商店、资讯、站内消息系统。权限等常见模块此处不多赘述 社区所提供的功能： 1. 允许用户们在社区中自由分享自己的生活； 2. 允许用户们在对应的校区中发起活动，不同校区间的活动不互通，可通过认证来切换校区； 3. 允许用户们在社区中出手二手物品，并且消息间有校区隔离，使交易变得高效轻松； 4. 允许用户在社区中自由派单，同样拥有校区隔离。 小商店所提供的功能： 小商店商品信息通过*小商店API接口直接获取，在本程序中进行展示，当点击对应商品时会跳转至小商店对应商品界面。主要提供一个更好的展示页面，其它使用*小商店的自带功能进行管理。“我的订单”页面，也是直接使用小商店的功能实现的。 资讯： 允许管理员通过后台向其它用户发布公告，公告显示在首页的流水屏中。可以通过wordpress后台的可视化编辑器做出漂亮的页面效果。 站内消息系统： 1、 社区行为（如被点赞、被收藏）通知。 2、 通知系统，当管理员通过后台发布公告时，能够通过通知系统通知每一位用户。同时当用户派的单有人接单时，也会收到通知。 3、 站内消息，允许用户间发送私信，该系统提供了emoji表情的功能，用户可以通过这个系统来和想要的人聊天，或是沟通其它事，如二手物品的价格。 4、 消息以气泡的形式现实当前未读消息的数量，当消息被拉取时，后台会将其标记为已读。 该项目为我单人独立开发而成。 技术栈 前端 语言： JS 框架： Uniapp UI库： Color-ui、uni-ui 后端 语言：php 框架：wordpress [后端] 通过直接读取文章HTML与Css实现资讯的可视化在小程序上的显示，能够支持Wordpress生态中Elementor，Beaver Builder等第三方的可视化页面编辑器，可可视化搭建极具表现力的公告/咨询推文。 利用Wordpress原生的分类与查询器，快速实现了用户动态的跨校隔离。用户的派单，活动等功能则是利用Wordpress的add_post_meta为文章添加元数据来实现的。 通过RestfulApi实现了站内消息系统，允许用户互相之间发送信息，并提供了封装好的服务，可在代码中直接调用函数，向对应用户发送通知。缺点是该实现方式无法做到实时的交流，需要用户主动刷新，若采用轮询方式对服务器压力较大。 并且在用户发动态的RestfulApi上还接入了*内容安全接口，自动检测内容的合法合规，省去了人工审核压力极大的节省了我们的内容管理压力 [前端] 利用Js的字典，解析用户输入数据将“[表情名]”映射为对应图片，从而实现了私信的表情渲染器。 其它的都属与些十分常见的操作，这边就不再详细展开了。