优化人工智能安全研究：采访Owen Cotton-Barratt

人工智能给人类带来了无数的风险。从隐私问题到算法偏见和“黑匣子”决策，更广泛的价值调整问题，递归自我改进以及超级智能的存在风险 - 人工智能安全问题并不缺乏。

人工智能安全研究旨在解决所有这些问题。但由于资金有限且研究人员太少，研究中的权衡取舍是不可避免的。为了确保AI安全社区解决最重要的问题，研究人员必须优先考虑其原因。

Owen Cotton-Barratt与人类未来研究所(FHI)和有效利他主义中心(CEA)的同事一起研究了人工智能安全社区的“事业优先级”。他们分析哪些项目更有可能帮助缓解来自高度先进的AI系统的灾难性或存在性风险，尤其是人工一般智能(AGI)。通过模拟不同类型研究之间的权衡，Cotton-Barratt希望引导科学家们进行更有效的人工智能安全研究项目。

技术和战略工作

事业优先排序的第一步是了解已经完成的工作。从广义上讲，人工智能安全研究分为两个领域：技术工作和战略工作。

AI的技术安全挑战是保持机器安全可靠，因为它们变得更有能力和创造力。通过使AI系统更可预测，更透明，更符合我们的目标和价值观，我们可以显着降低伤害风险。技术安全工作包括Stuart Russell关于强化学习的研究和Dan Weld关于可解释机器学习的研究，因为他们正在改进AI系统中的实际编程。

此外，机器智能研究所(MIRI)最近发布了一项技术安全议程，旨在长期协调机器智能与人类利益，而另一家非营利性人工智能研究公司OpenAI正在研究“围绕确保的许多研究问题”现代机器学习系统按预期运行，“遵循开创性的人工智能安全具体问题的建议。

战略安全工作范围更广，并询问社会如何最好地准备和减轻强大人工智能的风险。这项研究包括分析围绕人工智能发展的政治环境，促进研究领域之间的公开对话，阻止军备竞赛，以及从博弈论和神经科学中学习人工智能的可能结果。耶鲁大学教授艾伦·达福最近专注于战略工作，研究人工智能的国际政治，并为政府，人工智能实验室和非营利组织提供有关人工智能风险的咨询。而耶鲁生物伦理学家温德尔·瓦拉赫(Wendell Wallach)除了研究“筒仓破坏”之外，正在研究人工智能的全球治理形式。

原因确定优先顺序也是战略工作。Cotton-Barratt解释说，“战略工作包括分析安全领域本身，并考虑我们认为我们将会有更多的工作，我们将拥有更少的工作，从而帮助我们引导资源和更多我们的工作目标。“

谁需要更多资金?

如上图所示，自2015年以来，人工智能安全支出大幅增长。虽然更多的资金并不总能转化为改善的结果，但资金模式很容易评估，可以说很多关于研究重点。Cotton-Barratt的CEA同事Seb Farquhar今年早些时候撰写了一篇文章，分析人工智能安全资金，并提出了更好地分配未来投资的方法。

首先，他建议技术研究团队获得更多的个人调查员来参加研究议程，详见“人工智能安全的具体问题”。OpenAI已经在这方面起了带头作用。此外，社区应该尽力确保新兴的人工智能安全中心雇用最佳候选人，因为这些研究人员将在未来几年内塑造每个中心的成功。

总的来说，Farquhar指出，战略，外展和政策工作跟不上人工智能安全研究的总体增长。他建议更多人关注改善人工智能安全研究团队之间，人工智能安全社区与更广泛的人工智能社区之间以及政策制定者与研究人员之间长期战略的沟通。他补充说，建立更多关于人工智能战略和政策的博士和硕士课程可以建立一条填补这一空白的渠道。

为了补充Farquhar的数据，Cotton-Barratt的同事Max Dalton创建了一个数学模型来跟踪更多的资金和更多的安全问题人员如何转化为有用的进展或解决方案。该模型试图回答以下问题：如果我们想要降低AI的存在风险，那么我们通过在战略研究和技术研究上投入资金可以获得多少效果?

总的来说，技术研究比数学模型中的战略工作更容易跟踪。例如，在战略伦理研究上花费更多可能对人工智能安全至关重要，但很难量化这种影响。然而，改进强化学习模型可以产生更安全，更稳健的机器。通过更清晰的反馈循环，这些技术项目最适合道尔顿的模型。

近视和AGI

但这些模型也面临着重大的不确定性。没有人真正知道什么时候开发AGI，这使得很难确定最重要的研究。如果AGI将在五年内开发出来，研究人员应该只关注最基本的安全工作，例如提高AI系统的透明度。但如果我们有三十年的时间，研究人员可能会负担得起更多的理论工作。

而且，没有人真正知道AGI将如何运作。机器学习和深度神经网络引领了新的AI革命，但AGI可能会在与AlphaGo和Watson截然不同的架构上开发。

这使得一些长期安全研究成为一项风险投资，即使正如许多人认为的那样，这是我们可以做的最重要的研究。例如，研究人员可能花费数年时间使深度神经网络安全透明，但只有当AGI在完全不同的编程架构上发展时才会发现他们的工作浪费。

Cotton-Barratt将这个问题归结为“近视”，并在今年夏天有效利他主义全球最近的一次演讲中进行了讨论。人类通常无法预料到破坏性变化，人工智能研究人员也不例外。

“我们可能会为长期情景所做的工作可能会完全混淆，因为我们没有考虑正确的事物类型，”他解释道。“我们对近期情景有更多的影响力，因为我们更能评估它们的样子。”

任何额外的人工智能安全研究总比没有好，但考虑到未知的时间表和人工智能对人类的威胁的潜在严重性，我们最好尽可能地追求最有效的人工智能安全研究。

通过帮助人工智能研究组合向更有效和全面的方向发展，Cotton-Barratt和他的同事们希望确保当机器最终超越我们时，我们会问 - 并且有希望回答 - 正确的问题。

本文是关于人工智能安全研究资助的未来生活系列的一部分，该系列资金由Elon Musk和开放慈善项目的慷慨捐赠资助。如果您有兴趣申请我们的2018年拨款竞赛，请看此链接。

文明的大部分好处都源于智力，那么我们如何才能通过人工智能增强这些好处，而不是在就业市场上取而代之，而且可能完全取而代之?