本项目提出了一种深度强化学习算法（多约束的PPO算法）以提高车辆的控制稳定性，本项目基于UE4实现了一个自动驾驶仿真环境，在该环境中跑通了车辆自动驾驶模型的训练、评估，证明了本项目提出算法的有效性。

深度强化学习（DRL）已经在各种具有挑战性的决策任务中进行了研究，例如自动驾驶。然而，DRL通常存在动作抖动问题，这意味着即使状态只有轻微差异，代理也可以选择具有很大差异的动作。这个问题的一个关键原因是DRL奖励的不当设计。在本文中，为了解决这个问题，我们提出了一种新的方法来将动作的平滑性纳入奖励中。具体来说，我们引入了子奖励，并添加了与这些子奖励相关的多个约束。此外，我们提出了一种多约束近端策略优化（MCPPO）方法来解决多约束DRL问题。大量的仿真结果表明，所提出的MCPPO方法在动作平滑性方面优于传统的比例-积分-微分（PID）和主流的DRL算法。