提出一种基于强化学习的交叉路口信号协调控制 车流量，车辆等待时间以及每条道路车辆等待长度为Reward，信号灯相位为Action，基于环境交互来调整Actor和Critic网络从而获得收益最大化

本设计根据首先进行了任务需求分析以及应用场景的设计，主要研究其在具体的应用场景下的垃圾分拣任务的实现。同时也根据任务需求制定了系统总体框架，并对系统中的各个硬件模块进行方案论证，然后主要对目标检测模型的设计与嵌入式端的部署进行了相关研究。利用相机手眼标定法的相关技术，建立了像素坐标系与世界坐标系之间的转换。在机械臂控制方面则建立了机械臂的结构模型，并对其进行了正逆运动学分析。 针对相机采集的图像信息，先进行其尺寸大小上的预处理，以满足目标检测模型的输入尺寸要求，为了检测的更准确，在目标检测过程中进行了多次迭代处理，以减小因环境改变等外界因素对检测模型效果的影响。为了识别出物体的坐标，采用Anchor box的机制进行推测和判断。 最后设计并实现了基于视觉引导的机械臂定位抓取系统，然后对该系统进行指定位置抓取实验和垃圾分类识别实验并对其进行论证分析。

本项目主要基于智能物流小车平台搭建ROS操作系统来进行SLAM地图构建，室内精准导航，室内障碍物避障等，构建“上层主控，下层驱动模型”，并基于某一特定物流搬运任务进行程序设计。 该项目获得全国大学生光电设计竞赛中部赛区二等奖以及全国大学生工程训练大赛省级二等奖。