项目角色：负责项目中手眼标定任务、视觉感知算法、机械臂控制算法的研发与系统编码工作。 项目难点：待抓物体形态差异很大，如何精确识别待抓物体的姿态、获取良好的抓取控制参数以保证抓取的成功率。 技术方案：目前验证基于深度学习以及深度强化学习的方法，探索提升视觉感知的鲁棒性及姿态预测的高鲁棒性算法。

项目角色：负责开发并优化视觉算法，以实现角点的准确识别和货物的规范码垛。工作内容涵盖算法的设计、编码，确 保系统能够高效地与机械臂系统协同工作。 项目难点：集装箱的新旧程度不同，内部残缺修补状况各异，而且环境中存在灰尘干扰和复杂的环境光照条件。这些因 素增加了集装箱角点识别和码放规范性检测的难度，对视觉感知算法的鲁棒性提出很高的要求。 技术方案：使用 RGB-D 相机采集图像和点云数据，结合图像处理和深度学习算法，实现对集装箱角点和瓦楞箱体边缘 的检测。码放规范性检测方面，通过检测是否缺箱、少箱，是否存在歪倒、倾斜，判定码放的规范性。改进传统图像处理流 程，采用 MLSD 直线检测模型并在私有数据集上进行微调训练，提高检测的鲁棒性。

项目角色：负责项目的 90%工作。涵盖从硬件选型安装、算法系统架构设计开发，原型机识别精度验证的多个方面。 项目难点：同食材可能具有相似的外观和纹理，例如橘子和橙子；相同食材可能具有不同的外观纹理，例如各品牌的牛奶；食 材可能会被遮挡、密集摆放，而且包装不尽相同；算法需要部署在边缘计算单元上，因算力受限，需要优化算法以提高效率。 技术方案：采用目标检测、自研多目标跟踪技术。使用目标检测来识别人体和食材，自研多目标跟踪算法用于重建人手 和食材的运动轨迹，算法系统部署于 Jetson NX 边缘计算设备上，利用模型裁剪降低参数规模，以适应边缘计算环境。