内在奖励何时真正带来探索？

论文提出一种探索的形式化判据，通过策略获取的反事实信息来比较策略，即其历史在多大程度上可替代其他策略下的经验。作者构造一个简单环境，使计数、预测误差、empowerment 和信息增益等内在奖励目标的最大化策略在获取反事实信息上帕累托次优，并解释失败原因、给出内在奖励成功促进最优探索的条件，同时构造了一个在新判据下赋予更高价值的目标。

AI推荐理由 对内在奖励引导探索提出形式化判据：以策略所获取的反事实信息比较策略，即其历史在多大程度上可替代其他策略下的经验。作者构造单一简单环境，使计数、预测误差、empowerment 与信息增益等目标的最大化策略在反事实信息获取上帕累托次优，并给出内在奖励成功促进最优探索的条件，还构造了在新判据下更优的目标。属于 RL 探索理论的具体贡献，偏理论。