2020年11月27-28日，第3届IEEE国际无人系统大会（IEEE ICUS 2020）于中国哈尔滨召开。车辆学院李升波老师指导的博士生林子钰、段京良等人，以清华大学为唯一单位发表论文《Continuous-time finite-horizon ADP for automated vehicle controller design with high efficiency》荣获“最佳论文奖”（Best Paper Award）。

最优控制是诸多工业对象广为使用的一类控制方法，现有求解方法一般采用滚动时域方案进行在线优化，难以满足高实时领域的计算需求。面向这一挑战，智能驾驶课题组提出了一种连续时间且有限时域问题的近似动态规划算法，通过突破Hamilton-Jacobi-Bellman（HJB）方程值函数时间偏导数的等价性条件，实现了该类最优控制问题的全局策略离线求解。该算法以强化学习的策略迭代框架为基础，利用参数化函数（如神经网络），先离线近似最优策略，之后再在线查表应用，极大提高了在线控制的计算效率。

以自动驾驶汽车的横向控制为例，验证了所提出算法的有效性。汽车控制器的硬件在环验证表明，该算法训练的策略网络近似误差＜1%，单步计算效率比常见在线优化求解器提高了近3个数量级。这一研究工作为高实时最优控制器的工业应用奠定了全新理论基础。

论文链接：

https://ieeexplore.ieee.org/document/9274944