#DRL-AutomatedDriving
基于深度强化学习的课程学习算法的自动驾驶训练模型
-
建立两个场景如上图所示
- Scenario1:Target Vehicle(非自动驾驶车辆)匀速通过十字交叉路口,Automatic Vehicle(自动驾驶车辆)初始位置停在停止线。
- Scenario2:目标车辆与自动驾驶车辆行驶在同一条车道上,目标车辆匀速行驶,自动驾驶车辆跟随着目标车辆。
-
设置环境
- 车辆控制环境使用**马尔科夫决策过程(MDP)**算法,即由当前的状态St与动作a,通过MDP算法获得下一状态St+1。
-
回报(Reward)函数
- AV车辆随着时间移动,行驶路程越远,获得的惩罚回报越大;
- AV车辆跟随TV车辆距离越近,获得的惩罚回报越大;
- 如果两车发生碰撞,获得一个惩罚回报;
- 如果在规定时间内,没有通过交叉路口,获得一个惩罚回报;
- 对于第二个场景,如果没有AV车辆没有在停止线停止,获得一个惩罚回报;
- 如果在规定时间内到达目的地,获得一个收益回报。
-
模型训练过程
- 通过MDP算法建立好两个场景环境,我们的目标是为了学习一种策略Π使得获得期望累加回报最大, 使用了基于深度强化学习Deep Deterministic Policy Gredient,DDPG去学习最优策略.
- 我们将场景分成6个Tasks(如下图所示):
考虑到长时间的训练过程,我们采用了自动课程学习算法的课程学习Automatically Generated Curriculum, AGC 首先将相对较容易的Task选择出来放入智能体(Agent)中去训练,然后逐渐增加Task的困难程度,继续训练。
- 完整的算法实现过程(如Algorithm1所示)以及代码实现(附件Target_Ego_MDP.py; AGC_DDPG.py):
-
训练结果
- 此项目算法基于论文:Automatically Generated Curriculum based Reinforcement Learning for Autonomous Vehicles in Urban Environment