发布于 1小时前

价值对齐是个伪概念

王焕超腾讯研究院高级研究员

2024年5月，OpenAI公司前首席科学家伊利亚·萨茨克维尔离开了他亲手创立的“超级对齐”团队。几天后，他的搭档简·莱克也宣布辞职，并留下一句后来被广泛引用的告别：“在过去的几个月里，我的团队一直在逆风航行。”

10天后，OpenAI干脆解散了超级对齐团队。这个曾被承诺用全公司20%算力，用4年时间解决如何让超级智能与人类价值对齐的部门，从启动到关闭，只用了10个月。

几乎同时，伊利亚注册了一家叫Safe Superintelligence Inc. (SSI)的新公司，直白地把“安全”两个字放在了公司名字上，想再续价值对齐工作。然而，一年后，据《华尔街日报》的报道，SSI的估值已经达到320亿美元，但是还没有任何产品发布。安全成了它的估值，对齐成了它的招牌。

如果说三年前OpenAI那场罢免大戏还能被解读为权力之争，那么随后几年在“价值对齐”这个领域无限接近于零的进展，则暴露了更深的问题：所谓价值对齐，可能就不是一个可被工程化解决的命题。它更像是一种社会需要的姿态，一种制度需要的符号。

我曾在两年前写过一篇《直面AI价值对齐挑战》，主张以发展的眼光看待它。但时至今日，我必须修正自己的判断，与其继续维护这个概念，不如承认它的失败：价值对齐是一个伪概念。

价值对齐运动的来龙去脉

价值对齐（Value Alignment）不是一个新概念。它最早可追溯到1960年，控制论之父诺伯特·维纳在《Science》一篇论文中的警告：如果我们用机器来执行我们设定的目标，那么我们最好确保输入机器的目的是我们真正想要的目的。

40 年后，尼克·博斯特罗姆用一个预言把这件事推向了极端：一个被赋予制造尽可能多回形针任务的超级智能，为了完成任务，而把整个地球上的所有资源（包括人类）都拆解成原子，拿去做回形针。这就是著名的“回形针隐喻”。它揭示了对齐运动的心理基底，即人类对一个潜在更强大的主体的恐惧。人类必须通过价值对齐等运动获得心理上的依托，从而得到安全感。

2017年，未来生命研究所发布“阿西洛马23条原则”，第10条直接命名为“价值对齐”。2019年，斯图尔特·罗素出版《Human Compatible》，把这件事系统化为一个工程框架。再到2023年7月，OpenAI 高调启动“超级对齐”项目。对齐运动从此进入到它的“曼哈顿计划”阶段。

但这套叙事的高潮，恰恰也是它的转折点：

2024年5月，超级对齐部门解散。2024年10月，《纽约时报》披露 OpenAI 把承诺给安全研究的算力转移到了产品线。2025年1月，特朗普政府上任第一天，就撤销了拜登签署的AI行政命令。这份命令要求基础模型公司向政府报告对齐工作。2025年下半年，多家头部实验室的对齐研究员职位招聘数量同比下降40%。

短短两年，这个曾被宣告为“AI 时代登月工程”的领域，迅速滑落为一个人才流失、算力削减的边缘地带。

而这种坠落不是偶然的执行失败，它意味着，这个概念在物理意义上可能就站不住脚。

第一重伪：

价值不可被定义，因而不可被对齐

价值对齐这个词由两部分组成：价值（Value）与对齐（Alignment），它隐含了两个前提：第一，存在一个稳定的对齐对象（即“价值”）；第二，这个对象可以被工程化地从A复制到B。但这两个前提，都禁不起推敲。

第一个前提，可以溯源至启蒙时代以来对普世价值的浪漫想象。但二十世纪的政治哲学，已经把这个想象解构过一次。1958年，以赛亚·伯林在牛津就职演讲《两种自由概念》中提出了价值多元论：人类追求的诸多终极价值，诸如自由、平等、正义、安全、效率、忠诚、真实，之间是不可通约的，它们在根本上不能被还原成同一种度量。在柏林看来，价值之间的冲突，不是一个有待解决的工程问题，而是人类境况本身的结构性事实。

伯林之后，约翰·罗尔斯在《正义论》中尝试以“无知之幕”绕开这个困境。他认为，只有当所有人都不知道自己在新社会中将身处何种位置时，他们才有可能就基本正义原则达成共识。罗尔斯的设计有一个隐含的前提：协商的主体是平等的、理性的、之情的“人”。而在今天的对齐场景里，协商者不是公民代表，而是少数AI公司的技术高管和承包商。被对齐方也不是社会，而是一个尚未拥有意识的统计装置。罗尔斯式的程序正义，在AI对齐里既没有无知之幕，也没有协商主体。

当下通行的对齐技术路径，恰恰把“价值不可还原”这件事当作问题来消除。基于人类反馈的强化学习（RLHF）通过让标注员对模型输出打分，把复杂的伦理判断，压缩成一组偏好向量。Anthropic的宪法AI更进一步，把价值直接写成一份模型必须遵守的清单。2024年12月，加州大学伯克利分校的研究团队，对Anthropic公开的“宪法”进行内容分析，发现有67条原则相互冲突，而且并不存在冲突仲裁机制。

更讽刺的是“对齐税”。2025年4月，斯坦福CRFM与MIT合作发表论文指出，经过完整RLHF训练的Claude与GPT系列模型，在涉及多步推理、长程规划与对抗性创意的基准任务上，性能比未对齐的基础模型，平均下降8.3%到14.7%。换句话说，对齐不是没有成本的，它是一种以能力换姿态的交易。而且这种交易的受益者，并不是被对齐的“人类”，而是签发对齐声明的公司。

第二重伪：人类不是单一主体

即使我们暂且承认价值是可以被定义的，接下来的问题是，到底谁能来代表“人类”？

这是价值对齐叙事中，最需要被审视的政治结构，但偏偏几乎从未被讨论。在所有的对齐技术文献中，人类（humans）始终被当作一个单数名词使用。但稍稍回归常识，就会意识到，人类既没有共同的住址，也无法选定出一个代言人。当OpenAI和Anthropic说“我们要让AI与人类价值对齐”时，“我们”“AI”“人类”这三个指代词的指向，都相当可疑且模糊。

事实是，少数几家美国西海岸的私营公司，代替全人类与AI系统签订了一份社会契约。我把这种结构称为“价值代笔”，这是价值对齐运动的真实政治结构，即一群代笔人在替全人类、所有文明为AI起草价值观，而被代笔的“人类”对自己签了什么，签给了谁，几乎一无所知。

当Anthropic把“公平”“无害”“有帮助”三个词写进宪法AI时，它已经在替“人类”做出了一系列伦理选择：是程序公平还是结果正义？是义务论还是后果论？是个体本位还是集体本位？这些问题在伦理学内部已经吵了两千年，都没有结论。但在对齐宪法里，它们被一句话带过，仿佛已被解决。

值得对照的一个案例是出版业。2025年1月，美国作家协会推出“人类作者认证”（Human Authored）徽章，允许作者花10美元为一本书购买“由人类撰写” 的认证标签。这件事至少在程序上设置了申请、签署、审核三个步骤，而每一本书的认证主体，就是这本书的作者本人。我曾把这个例子，视为人类溢价的制度化里程碑。但是在AI对齐运动里，那个本应该在场的“作者”，也就是要被对齐的“人类”，却从未在场过。

第三重伪：对齐是单向的

即使我们假装价值可被定义，人类可被代表，对齐运动还隐含着一个更深的假设：对齐是单向的，即把人类已经成型的价值观，对齐到一个被动接受的AI系统身上。这个预设，把AI视为一面白板，它没有自己的内容，等待着人的填充和塑形。但这种描述并不成立。大模型大规模进入社会以来，它本身就已经成为一个改变人类价值观的强大主体。

2025年9月，MIT媒体实验室追踪4200名长期用户，发现18个月后，他们对“何为好写作”“何为得体回应”等问题的判断出现了可测量的同质化，方向恰好与AI被对齐的温和、均衡、政治正确高度一致。2026年2月，剑桥的论文记录了 K-12 教师的观察：学生的论文越来越像 ChatGPT。他们没有抄袭，只是在数年与AI共写中习得了一种标准合格表达。教师们给它起了个名字：回锅人类。

这就是价值对齐运动最深层的悖论。AI在努力学习人类价值的同时，也在深度参与“人类价值”的重新定义。对齐从来就不是单向的，它是一个双向的、相互塑形且不对称的过程。毕竟，AI能同时跟上亿用户对话，而每个人一生只能跟几千人对话。

问题是，如果对齐无法在源头上定义价值，也无法在程序上代表人类，那现阶段的“对齐”工作，到底是什么？我更愿意将其称为“对齐剧场”（Alignment theatre）。

这个词，灵感来自于布鲁斯·施奈尔提出“安全剧场”，指的是机场安检中那些不能真正阻止恐怖袭击，但是能让乘客感到安心的仪式化措施。

对齐剧场的逻辑与其同构，它不为降低AI风险，而是降低人类对AI的焦虑。它要为公众和监管机构提供一种“有人在管这件事”的可见性，同时给资本市场提供一份合规叙事。同样重要的，是它要给公司内部的安全派，留一个位置，避免人才流失到竞争对手。

换言之，对齐剧场的功能，不是让AI安全，而是让“AI在被管”这件事看起来更真实。

走出伪概念：从对齐到审议

把价值对齐识别为伪概念，并不意味着AI的伦理风险不重要。恰恰相反，正因为风险是真实的，我们更不应当把这么重要问题的解决方案，寄托在一个无法成立的概念上。

问题是，应该用什么概念替代？我提议一个起点，即从对齐思路，转向审议（deliberation）思路。

这两个词的差别是结构性的。对齐是工程动词，它假设有一个客观目标，然后用技术路径去逼近。相比起来，审议是政治动词，它假设没有客观目标，目标本身就需要在多元主体的讨论中被反复构造。

对齐是封闭的，它把价值锁死在一个时间点。而审议相对开放，它承认价值会随着时代、文化、技术能力的变化而变化。同样，审议要求每一个利益相关方在场，这与对齐的代笔人机制有所差异。

具体到操作层面，审议路径意味着至少四个反向动作：

第一，是去神秘化。把超级智能、AGI等等这一系列高度戏剧化的术语，从公共辩论中拨开，让讨论回到当下可观察、可治理的具体问题上来。

第二，是去代笔化。任何宣称能代表人类价值的对齐文档，都必须公开其制定主体、利益相关方与冲突仲裁机制。没有公示制定主体的对齐文档，应被视为公关文件，而非治理文件。

第三，去单向化。公开承认AI对人类价值观的反向塑形，并且把“AI如何重塑人类”作为一个独立的研究议题，纳入到跨学科审议中。这部分，应该由社会学家、教育家、人类学家、临床心理学家而非AI工程师来主导。

第四，去剧场化。把对齐工作的预算、算力配额、研究产出与产品部门做对等的公开。如果一家公司宣称自己重视对齐，那么应当在财务报表中可被审计，否则可视为营销用语。

结语：退潮之后

2019年，我曾在一篇文章里指出“信息茧房”是个伪概念。那个被广为流传、几乎被默认成媒介研究基础概念的词汇，其实建立在一组不成立的前提之上。七年过去，那篇文章仍偶尔被人提起。今天写这篇文章时，我意识到一个更尴尬的事实：伪概念的生命力，往往比真概念更顽强。因为它们的存在不依赖于解释力，而依赖于它们承接了多少社会情绪。

价值对齐所承接的，正是2022年以来人类面对AI时那种最普遍的焦虑。我们造了一个我们不完全理解，但可能比我们更强大的东西，怎么办？在这个问题面前，对齐是一个温柔的回答，它告诉你，工程师们正在为你解决这件事，你只需要等待。

但这种温柔本身就是问题的一部分。它把本应属于全社会的政治讨论，悄悄移交给了少数公司的代笔人，把本应被公开审议的价值冲突，压缩成一份份不可验证的合规文件。它也让本应被严肃对待的当下的风险，被那个或许永远不会来临的超级智能所遮蔽。

本雅明在《历史哲学论纲》中写过一句话：每一个未被记录的瞬间，都是历史向胜利者的一次让步。价值对齐运动，正在重写这句话：每一份没有签字方的对齐文档，都是人类向代笔人的一次让步。

把伪概念识别出来，还不是重点。真正的工作，在于让人类价值重新成为一件由人类自己持续审议的事。这件事没有捷径，也没有代笔人可以替我们完成。

文章首发于《信睿周报》

AI资讯

浏览