捐赠200万美元以保持人工智能的有益和稳健

已拨出200万美元用于资助预期人工一般情报(AGI)以及如何有益地设计的研究。这笔钱是由Elon Musk捐赠的，用于通过生命未来研究所(FLI)提供补助金。已经选择了10笔拨款用于资助。

Tegmark说：“我乐观地认为，只要我们赢得人工智能不断增长的力量和管理它的智慧之间的竞争，我们就能用人工智能创造一个鼓舞人心的高科技未来。这项研究旨在帮助发展智慧，增加AGI最好的可能性，而不是人类最糟糕的事情。“

今天的人工智能(AI)仍然很窄。也就是说，它只能完成一系列狭窄的任务，例如下棋或围棋，驾驶汽车，进行互联网搜索或翻译语言。虽然掌握这些任务的AI系统可以在超人级别执行它们，但是他们无法学习一种新的，无关的技能组合(例如，可以搜索互联网的AI系统无法学习仅使用其搜索算法来玩Go )。

这些人工智能系统缺乏人类必须在不同的活动和经验之间建立联系以及将知识应用于各种领域的“一般”能力。然而，相当多的AI研究人员都认为AI可以在未来几十年内实现更“一般”的智能。没有人知道人工智能如何聪明或聪明可能会影响我们的生活，无论是有益还是有害，我们如何安全地设计，甚至如何为高级人工智能做好准备。许多研究人员担心过渡很快就会发生。

FLI的联合创始人和加州大学圣克鲁兹分校的物理学教授Anthony Aguirre解释说：“让机器智能像我们自己一样灵活和强大所需的突破可能需要50年。但由于现在主要的知识和财政资源都针对这个问题，因此可能需要更少的资源。如果有突破，那会是什么样子?我们可以准备吗?我们现在可以设计安全功能，并将它们融入AI开发中，以确保强大的AI能够继续造福社会吗?事情可能会很快发生，我们需要进行研究以确保它们顺利进行。“

拨款主题包括：培训多个AI以协同工作，向人类学习如何共存，培训AI以理解个人的偏好，理解“一般”实际意味着什么，激励研究小组避免潜在危险的AI竞赛等等。正如征求建议书所述，“此RFP的重点是技术研究或其他能够开发有益于社会的人工智能的项目，并且在某些意义上是有益的，因为我们的AI系统必须按照我们想要的方式行事。去做。”

FLI希望这一轮赠款将有助于确保AI变得越来越有益，因为它变得越来越聪明。一些拨款接受者提供了关于他们为什么对他们的新项目感到兴奋的陈述：

“在人工智能计划治理方面的团队很高兴在FLI的支持下进行这项研究。我们已经确定了一系列问题，我们认为这些问题对于确保高级人工智能的强有力治理是最重要的，并且坚信通过专注研究和与其他人在这个领域的合作，我们可以在他们身上取得成果。“ - 艾伦达福

“我们对这个项目感到非常兴奋，因为它提供了第一个独特和原创的机会，可以在正在进行的人工智能研究和开发竞赛中明确研究安全合规行为的动态，从而可能导致基于模型的建议，如何及时调节目前的发展浪潮，并为决策者和参与者提供建议。它还提供了一个重要的机会来验证我们之前关于承诺和其他信任机制在诱导全球亲社会行为中的重要性的结果，从而进一步促进人工智能的共同利益。“ - 安汉

“我们对这个项目的潜力感到兴奋。我们的目标是学习人类偏好的模型，这可以帮助我们构建能够安全可靠地与人交互和协作的AGI算法。“ - Dorsa Sadigh

这是FLI的第二轮赠款。2015年首次推出，以及该赠款回合中的论文，文章和信息的综合列表可在此处找到。这两轮赠款都是Elon Musk承诺向AI安全研究承诺的1000万美元的一部分。

FLI联合创始人Viktoriya Krakovna也补充说：“我们之前的拨款促进了对人工智能安全的各种主题的研究，并支持了40多篇论文。下一轮融资更侧重于AGI安全和战略的研究，我期待着我们的新受助者在这方面的出色工作。“