图灵奖得主约书亚·本吉奥：AGI的未来是不确定的，可能非常消极

文｜博阳

编辑｜萌萌

7月26日，在上海WAIC世界人工智能大会上，图灵奖得主约书亚·本吉奥针对AI安全议题进行了发言。他指出，人工智能的飞速发展在改变社会的同时，也带来了巨大的机遇和严峻的挑战。

以下为本吉奥发言实录：

大家好，首先请允许我感谢中国人工智能安全与发展协会今天给我这个机会与大家分享几句话 。在过去的几年里，我们一直在见证人工智能能力的进步如何改变社会，但我认为这只是冰山一角。

我个人尤其受到人工智能在医学和应对气候变化方面的应用的启发和参与。人工智能可以带来巨大的好处，但前提是我们明智地引导它。

前沿模型最近在规划和推理方面取得了重大进展 。如果趋势继续下去，这些能力可能会在本十年末达到人类水平的表现。例如，最近的一项研究表明，人工智能可以处理的任务时长每七个月就翻一番。换句话说，它们在规划和制定策略方面变得越来越好 。

过去六个月的最新科学证据也表明，随着高能力系统变得越来越自主，它们成为更好的智能体，并倾向于发展出自我保护和欺骗行为。因此，迫切需要研究技术和政治解决方案，以减轻这些风险以及许多其他风险 。

我的项目“Law Zero”是基于一个科学家人工智能研究项目，旨在使人工智能在不伤害人类的意义上更安全 。科学家人工智能可以用来阻止一个可能是智能体的不受信任的人工智能的行动，以确保该智能体的行为良好。我们还需要国际合作和条约来解决人工智能安全问题，也许可以从过去为避免核灾难所做的努力中获得启发。

一个伟大而成功的全球协调的例子是我最近主持的《国际人工智能安全报告》，并且我已同意连任主席一年 。该报告具有国际授权，源于包括中国、欧盟和联合国在内的30个国家通过的一项决议，其中来自中国科学院的曾毅（Yi Zeng）是中国的小组成员之一 。

该报告是首个旨在对人工智能安全建立一个基于科学的、最新的、共享的理解的报告。它由来自世界各地的100多位人工智能专家撰写，旨在为政策制定提供证据基础。该报告指出了科学共识的领域，以及当前科学理解中存在不同观点或差距的领域。

报告显示了许多重要结论 。首先，正如我所说，能力正在增强。此外，我们目前所知的所有缓解措施都存在局限性，因此迫切需要进行大规模的更多研究，以便在人工智能变得如此强大以至于其影响可能是灾难性之前解决这个问题。

因此，报告明确指出，AGI的未来是不确定的，非常积极和非常消极的结果都是可能的。实际上，这很大程度上取决于社会和政府将如何行动。

所以，感谢您的关注，并感谢您花时间思考，如果人工智能能力继续增长而我们仍然不知道如何减轻风险，将会带来什么后果。