DeepMind的AI自动生成强化学习算法

在预印本服务器Arxiv.org上发表的一项研究中，DeepMind研究人员描述了一种强化学习算法生成技术，该技术通过与环境交互来发现预测内容以及如何学习。他们声称，生成的算法在一系列具有挑战性的Atari视频游戏中表现出色，实现了“非平凡”的性能，表明该技术具有普遍性。

强化学习算法(使软件代理能够使用反馈通过反复试验在环境中学习的算法)根据几种规则之一来更新代理的参数。这些规则通常是通过多年研究发现的，从数据中自动发现可能会导致算法更有效，或者算法更适合特定环境。

DeepMind的解决方案是一个元学习框架，可共同发现特定代理应预测的内容以及如何使用这些预测来改进策略。(在强化学习中，“策略”定义了学习主体在给定时间的行为方式。)他们的架构-学习策略梯度(LGP)-允许更新规则(即元学习者)决定主体的行为当框架通过多个学习代理发现规则时，输出应该是预测性的，每个学习代理都与不同的环境交互。

在实验中，研究人员直接在复杂的Atari游戏(包括Tutankham，Breakout和Yars'Revenge)上评估了液化石油气。他们发现，与现有算法相比，它可以“合理地”推广到游戏中，尽管训练环境由基本任务比Atari游戏简单得多的环境组成。此外，受液化石油气培训的特工在不依赖手工设计的强化学习组件的情况下，成功实现了14场比赛的“超人”表现。

合著者指出，LPG仍落后于某些高级强化学习算法。但是在实验期间，随着训练环境数量的增加，其泛化性能迅速提高，这表明一旦有更多的环境可用于元训练，发现通用增强学习算法可能是可行的。

“通过以数据驱动的方式使发现过程自动化，所提出的方法具有极大地加速发现新的强化学习算法的过程的潜力。如果建议的研究方向成功，这将使研究范式从人工开发强化学习算法转变为构建适当的环境集，从而使所得算法高效。”研究人员写道。“此外，提出的方法还可以用作辅助强化学习研究人员开发和改进其手工设计算法的工具。在这种情况下，根据研究人员提供的输入架构，可以使用建议的方法来了解良好更新规则的外观，