图灵奖得主辛顿和姚期智深度对话：如何让AI“保持仁慈”？
划重点：
辛顿与姚期智都表示，AI潜力巨大，但如果不加以控制，恶意AI可能带来风险。
辛顿强调，AI的自主性和安全性是关键，恶意引导或失控的AI可能带来无法预见的后果。
辛顿认为，通过奖励、惩罚和展示好行为，可以培养AI的道德行为。
姚期智指出，培养仁慈的AI需要先改革人类社会，只有在良好的社会环境中训练的AI才能保持仁慈。
量子计算能提升AI计算能力，完成传统计算无法做到的任务，为AI发展带来新机遇。
AI的创造类似于构建“外星生命”，因为这些智能机器本质上与人类不同，因此理解其心理学和行为模式至关重要。
姚期智认为，未来AI将催生“机器心理学”，研究AI的行为。
文｜海伦 金鹿
编辑｜萌萌
7月26日，在“世界人工智能大会·人工智能发展与安全论坛”上，AI领域的两位重量级人物和图灵奖得主：被称为“AI教父”、诺贝尔物理学奖得主杰弗里·辛顿（Geoffrey Hinton）与中国科学院院士、清华大学人工智能学院院长姚期智，就人工智能的未来发展、安全性等方面展开了深入对话。
辛顿提出，对于AI的道德训练，通过奖励和惩罚的方式，AI的行为在一定程度上可以被引导，而姚期智则强调，在培养AI的同时，人类社会本身的改革也是一个不可忽视的前提，AI才能在良好的条件下培养出仁慈的行为特质。
此次对话中，他们还讨论了AI与量子计算的结合，认为量子计算能显著提升AI计算能力，但同时也带来了不可预见的风险。辛顿和姚期智一致认为，AI的未来发展不仅关乎技术突破，更需要谨慎的伦理考量和社会适应能力，确保技术能够与人类社会的价值观、道德标准和法律框架相协调，以实现建立安全的AI。
以下为两位的对话精华版：
辛顿：对于AI的训练，我们可以通过奖励或惩罚来影响AI的行为，这会产生一定效果。或者，我们可以展示给它们良好的行为。举例来说，如果父母展现出良好的行为，他们的孩子通常会变成一个遵守道德规范的人。所以，我认为我们应该通过高度筛选的数据来培养AI，让它从一开始就只展示好的行为。我们可以把所有人的不良行为保存起来，等AI学会了什么是好的行为后，再展示给它这些不良行为。
姚期智：如果这一做法能实现，它的确可以解决很多关于未来AI发展的难题。但我认为，这要比想象复杂得多。要让某个AI系统保持向善，目前我们还不知道该怎么做。我甚至怀疑，这根本就无法实现。但正如你所说，AI是目前最大的一项未解之谜，因此我们应该同时考虑到它的积极和消极影响。
下面我谈谈自己的个人想法：我认为，世界上有好人，也有坏人，但实际上，好人也可能在不同的情况下变成坏人。所以，“是否向善”这一概念其实是随情境变化的。如果一个人在艰难的环境中长大，成为传统意义上的“好人”就非常困难。
我的担忧是，假设我们把AI像孩子一样培养，如果它生活在一个富裕的家庭和环境良好的社区，那它很可能会成为一个绅士，甚至能获得诺贝尔奖之类的殊荣。
但在极端压力下，也很可能出现哲学家们所说的情况。他们指出，事物在不同情况下是发展变化的，有时你必须做出选择，进行价值判断。 如果机器人接受这种类型的训练，假设你真的想培养一个向善的机器人，那么你必须在多种不同情境下测试它。我想，如果一个原本向善的机器人，在被置于高压环境下时，它也可能会变得冷酷无情。
所以我的观点是，想要实现你所说的这一伟大理想，首先我们应该改革人类社会。如果我们能创造出一个善良占主导的世界，大家都不必在极端压力下做出选择，那么用这种方式训练的机器人，最终会让每个人都感到幸福。但这一切都基于假设。如果我们不能让人类社会达到这样的状态，我们可能无法保证坏人不会制造出带有敌意的机器人，来摧毁所有这些仁慈的机器人。
辛顿：我们已经努力了很长时间，试图让人类社会变得更好。但联合国并没有按照最初的设想发展，它远没有达到最初预设的目标。我认为，我们无法在预期时间框架内完成这个任务，不能在短时间内让人类变得更好，也无法以足够快的速度改革人类社会，以应对即将到来的超级智能威胁。
不过，有一个替代方案，听起来有点儿像硅谷的想法，就是假设我们能够创造一个大体仁慈的AI，而它能够设计出更仁慈的AI。也许解决仁慈AI的问题需要一个比我们更聪明的AI。因此，或许可以通过递归的方式，让AI变得越来越仁慈。
这有点像机器学习的过程：先从一个弱学习器开始，把它变成一个强学习器。这是一个可能的路径。但正如我所说，目前我们还不知道该怎么做。我个人认为，先改革人类社会这个选项并不现实。
姚期智：在某些情况下，我们仍然能看到一线希望。毕竟，AGI的进展是逐步的，而不是一夜之间突然出现的。当迹象变得如此明显，机器人接管世界，把全人类抛在身后时，我认为那时的局面就像火星人入侵一样。在那种情况下，我相信这可能对我们来说是件好事。我们或许能从中学到一些东西，认识到人类的局限性。
我觉得我们可能太过雄心勃勃，总以为能拥有一切，但宇宙并不像我们想象的那样仁慈。我们掌握的量子、核能和生物合成等知识，并非没有代价。这些知识所带来的风险是人类应该清楚意识到的。我们应该珍惜目前所拥有的好运。能够走到今天，理解这些几百年积累下来的智慧，实在是一个奇迹。
辛顿：我确实知道一点物理学，但实际上了解得很少。其实，我一直在掩饰自己不懂物理的事实。不过，我有几个关于量子计算的问题。
第一个问题是，大多数物理学理论在极端条件下会崩溃。比如“牛顿定律”，曾经在很长一段时间内表现得非常精确，但后来我们发现，在非常高的速度下，“牛顿定律”便不一定适用了，必须用更复杂的理论来解释。
你认为量子力学的理解也可能不成立吗？例如，在某些情况下，可能无法维持非常复杂的量子纠缠，而这种纠缠又是量子计算的基础。也许在某些不完美的情况下，量子计算根本无法有效运作。你认为这有可能发生吗？
姚期智：我认为，根据正统的物理理论，量子理论在任何情况下都应该是有效的，无论有多少量子比特被纠缠在一起。
我有一位物理学朋友告诉我，目前物理学家所能实现的最大量子纠缠数目大约是60个，距离我们期望的量子计算仍然很遥远。因此，从这个角度看，量子计算仍然是一个未解之谜。除非自然科学家获得新的证据，否则他们通常会继续遵循现有的理论，直到有确凿证据证明其错误。
我记得在量子计算的早期，1982年，费曼发表了那篇具有深远影响的论文《量子力学中的最小作用原理》。到了20世纪90年代初，计算机科学家开始介入这个领域。我认识一些非常受人尊敬的顶级理论计算机科学家，他们曾怀疑量子算法是否真能实现，因为物理学家在实验室中并未取得显著的进展。我认为有些自然系统中的纠缠可能是无限的。比如，当某些特殊的原子粒子像“朋友”一样彼此吸引，当它们靠得非常近时，它们就变得不可区分，这样便能产生自然的纠缠，也就是完全的纠缠。
然而，对于我们需要进行量子计算的系统来说，我们不希望粒子与量子比特中存储的信息发生混淆。我认为，关于这一问题，目前仍未有定论。那些关心这一问题的朋友们，可能暗自希望通过解决这个问题获得诺贝尔奖。
他们认为，如果计算机科学家设计了量子算法，并且物理学家成功实现了这些算法，但最终没有得到正确答案，那么计算机科学家至少在量子理论的框架内创造了一个理想的世界。然而，我认为，目前所有研究量子计算的物理学家，几乎都忽视了这一可能性。对他们来说，现有的理论几乎是“圣经”一样的存在。
辛顿：第二个问题，假设量子计算能够正常工作，你认为这会更实用吗？在接下来的十到十五年里，量子计算会对AI产生重大影响吗，还是AI的进展会依赖传统计算？
姚期智：对于AI和量子计算领域，这是一个非常前沿的问题。量子计算的优势在于它与AI能力的垂直结合。所以在当下的世界里，最终的计算能力可能来自于在量子条件下构建AI机器。
理想情况下，量子计算可以为AI的学习提供加速。换句话说，我们使用量子计算机来进行学习，从而让AI在量子条件下运行。
原则上，我们应该能够得到更好的结果，因为量子计算机确实可以做一些AI做不到的事情，比如大整数因数分解。实际上，很少有人会指望AI去做这类任务，所以我们不需要太害怕AI，因为有些事情我们能做，而超级智能机器却做不到。
辛顿：这里有一个与量子计算无关的问题。一些人认为我们现在在AI领域做的事情是在创造外星生命。从某种意义上说，它们确实是生命。我听过你说过，如果我们真在做这个，我们需要理解这些外星生命的心理学。你能展开谈谈吗？
姚期智：是的，我认为我们正在创造外星生命。这实际上与许多合成生物学家思考的问题类似——如何从无生命的化学分子中创造生命。其实，我们在这里也是以不同的方式构造外星生命。但正如你今天在WAIC大会上提到的，这些超级智能机器，确实可以视为外星人。它们可能看起来像可爱的“虎崽”，但本质上它们并不是真正的“虎崽”。
辛顿：我认为，即使我们同意放弃意识和理解的定义，科学上也不会因此失去任何东西。但当我们试图构建机器，并使其变得更仁慈时，这可能非常有用。
姚期智：我真正相信的是，最终AI将催生一门独立学科——机器心理学。这是一个有趣的话题，因为机器心理学与普通心理学之间有相似之处。目前，我们还没有AGI（通用人工智能），因此我们仍需从人类身上学习。所有智能机器都有一个前提，即它们背后有人类设计师，其性能和表现也由设计者决定。
至于AI，它通常通过智能的方式搜索大量可能性，有时以我们无法理解和证明的神秘方式进行。目前，最聪明的仍然是人类，我们雇佣和依赖人类的智慧，去思考如何来设计这些机器的来入手架构。
有鉴于此，我们可以先借助人类心理学家的知识，对早期的机器人进行研究、指导以及测评。
未来，随着时间的推移，我相信机器的心理学将变得比人类更复杂，因为它们在欺骗方面的智慧可能超越我们最糟糕的预期。因此，当机器变得非常聪明时，我们需要首先研究它们的心理，以便人类能够继续主导这一领域的发展。
