AInvR：基于Agent轨迹的知识图推理的自适应学习奖励

不完全知识图的多跳推理具有良好的可解释性和良好的性能。基于强化学习（RL）的方法将多跳推理表述为一个典型的序列决策问题。RL多跳推理的一个棘手缺点是稀疏的奖励信号使性能不稳定。目前的主流方法应用启发式奖励函数来应对这一挑战。然而，启发式函数导致的不准确奖励将代理引导到不适当的推理路径和不相关的对象实体。为此，我们提出了一种新的用于多跳推理的自适应逆强化学习（IRL）框架，称为AInvR。（1） 为了应对缺失和虚假路径，我们将启发式规则奖励替换为基于agent推理轨迹的自适应规则奖励学习机制；（2） 为了缓解过度奖励对象实体被不准确的奖励塑造和规则误导的影响，我们提出了一种基于agent采样策略的自适应负命中奖励学习机制；（3） 为了进一步探索不同的路径并减轻遗漏事实的影响，我们设计了一种奖励-丢弃机制来随机屏蔽和扰动奖励学习过程的奖励参数。在几个基准知识图上的实验结果表明，我们的方法比现有的多跳方法更有效。