基于非参数平滑的连续时间随机噪声环境下的强化学习

强化学习主要是针对离散时间马尔可夫决策过程开发的。本文建立了一种新的基于时间差分和非参数平滑的学习方法来解决具有噪声数据的连续时间设置中的强化学习问题，其中真正的学习模型由常微分方程控制，数据样本由随机微分方程生成，该随机微分方程被认为是常微分方程的带噪声版本。针对确定性模型开发的连续时间时间差学习是不稳定的，当应用于随机模型产生的数据时实际上是发散的。此外，由于观测数据中存在测量误差或噪声，需要一种新的强化学习框架来处理带有噪声数据的学习问题。我们表明，所提出的学习方法对于学习基于随机微分方程控制的随机模型产生的噪声数据的确定性函数具有鲁棒性。建立了该方法的渐近理论，并对摆强化学习问题进行了数值研究，验证了该方法的有限样本性能。