一种采用模型学习和经验回放加速的正则化自然行动器评判器算法
【摘要】 行动器评判器（ActorCritic，简称AC）算法是强化学习连续动作领域的一类重要算法，其采用独立的结构表示策略，但更新策略时需要大量样本导致样本效率不高.为了解决该问题，提出了基于模型学习和经验回放加速的正则化自然AC算法（RegularizedNaturalACwithModelLearningandExperienceReplay，简称RNAC-ML-ER）.RNAC-ML-ER将Agent与环境在线交互产生的样本用于学习系统动态性对应的线性模型和填充经验回放存储器.将线性模型产生的模拟样本和经验回放存储器中存储的样本作为在线样本的补充，实现值函数、优势函数和策略的更新.为了提高更新的效率，在每个时间步，仅当模型的预测误差未超过阈值时才利用该模型进行规划，同时根据TD-error从大到小的顺序对经验回放存储器中的样本进行回放.为了降低策略梯度估计的方差，引入优势函数参数向量对优势函数进行线性近似，在优势函数的目标函数中加入2-范数进行正则化，并通过优势函数参数向量来对策略梯度更新，以促进优势函数和策略的收敛.在指定的两个假设成立的条件下，通过理论分析证明了所
