2020年10月13-16日，第20届国际控制自动化与系统大会（ICCAS 2020）于韩国釜山市召开。车辆学院李升波老师指导穆尧、彭柏寓等人，以清华大学为第一单位发表论文《Mixed Reinforcement Learning for Efficient Policy Optimization in Stochastic Environments》，荣获“最佳学生论文奖”（Student Best Paper Award）。此次会议总共录用全世界25个国家和地区的近500篇论文，其中12篇入围“最佳学生论文奖”的提名环节，这是最终获奖的5篇优秀论文之一。

知识与数据联合驱动学习是人工智能领域最重要的发展方向之一。该研究工作以探索能力受限且不确定性环境为对象（典型例子是行驶于城市道路的自动驾驶汽车），提出了模型与数据同步驱动的混合强化学习（MAC，Mixed Actor-Critic）算法，突破了收敛快速性和策略准确性难以同时保障的难题。该法以经验解析模型和真实交互数据的混合表征模型为基础，首次将策略迭代（Policy Iteration）的两步结构扩展为三步结构，即：迭代贝叶斯估计（IBE）、策略评估（PEV）、策略改进（PIM），且理论证明了该三步迭代学习结构的收敛性与最优性，这为模型与数据混合驱动学习提供了全新的统一框架。

以自动驾驶汽车的运动控制任务为例，验证表明：该法有效提升了自动驾驶控制策略的学习速度，与纯数据驱动法相比提速近25倍，同时保证了所求解策略的最优性，与纯模型驱动法相比性能提升约15%。该算法为高级别智能汽车进一步发展自我进化型驾驶智能奠定了基础。

注：ICCAS全称” The International Conference on Control, Automation, and Systems”, 是机器人与智能控制领域的顶级学术会议之一，每年召开一次。