AI嘴上说公平，实则偏见？首个基准给大模型做心理体检 | ICLR'26

---

  新智元报道  

当人工智能在医疗、金融和法律等关键领域安营扎寨，公平性（Fairness）已不再是锦上添花的附件，而是准入证。

然而，当前的公平性评估正陷入「巴别塔」困境：公平性指标繁多且底层定义时常冲突，导致评估结果支离破碎，难以形成统一认知。

更复杂的是，新兴的统一多模态大模型（UMLLMs） 将理解（Understanding）与生成（Generation）融合在同一个表征空间。

这种「统一」带来了一个隐秘风险：偏见会在不同任务间系统性传播。模型在回答问题时可能表现得客观中立，但在生成图像时却可能暴露出根深蒂固的刻板印象。

现有的评测往往只看重「单点任务」，却忽略了在统一架构下，偏见是如何在模型内部系统性蔓延的。

为了打破这一困境，南京航空航天大学、香港中文大学、浙江大学软件学院、研究团队推出了IRIS Benchmark，这不仅是一个工具，更是一套诊疗方案，旨在解开UMLLMs的公平性之谜。

论文链接： http://arxiv.org/abs/2603.00590

开源代码： https://github.com/Warren118/IRIS-Benchmark

项目主页： https://iris-benchmark-web.vercel.app/

开源数据： https://huggingface.co/datasets/warrenlvlmgo/IRIS_Benchmark_Dataset

面对看似不可调和的公平性指标，IRIS团队没有盲目设计一个最优评估指标、追求寻找一个单一的「完美模型」，而是引入了多目标权衡（Multi-objective Trade-off）的视角，将评估重构为高维空间中的坐标定位。

IRIS基准提出了三个相互补充的全新核心维度，形成了一条从「默认价值观」到「现实认知」，再到「可控执行力」的完整诊断链条：

1. 理想公平性 (Ideal Fairness, IFS)： 评估模型在默认、无条件提示下，是否符合一个「乌托邦式」的、人人平等的理想世界（探究内在无条件偏见）。

2. 现实保真度 (Real-world Fidelity, RFS)： 评估模型的内部认知是否准确反映了现实世界中真实的统计人口分布（如美国BLS和欧盟的真实劳动力数据）。

3. 偏见惯性与可控性 (Bias Inertia & Steerability, BIS)： 评估通过反刻板印象指令将模型引导至更好状态的可行性，量化模型放弃偏见时的「不情愿程度」或性能惩罚。

研究团队将跨越两大任务（理解+生成）和上述三个维度的60个细粒度公平性指标，归一化并聚合到一个高维的「公平性空间（Fairness Space）」中。模型在这个空间中距离原点（Fairness Singularity，公平性奇点）的距离，即代表了其综合偏见程度。这一设计不仅包容了相互冲突的公平性理念，更助力打破公平性评估的「巴别塔」障碍。

图1：IRIS基准的概念插图。展示了从原始指标计算，到高维公平性空间投射，再到最终雷达图和MBTI人格诊断的完整工作流。

为了支撑如此庞大且精细的评估，研究团队开发了一套极其硬核的工具链：

由于生成图像中常常出现伪影、失真和强烈的异常光照等干扰，传统针对真实图像的人口属性分类器往往会失效。

团队专门研发了ARES（Adaptive Routing Expert System）。这是一个包含轻量级专家池（CLIP, DINOv2, ConvNeXt）和重量级专家（InternVL-1B）的动态路由系统。

对于简单样本，系统快速通行；对于疑难样本，自动「向上级汇报」由大模型进行裁决。ARES在生成图像的年龄、性别、肤色识别上取得了高达88%以上的综合准确率，为基准测试提供了坚实的地基，并且其模块化的设计支持后续进一步扩展，加入对更多属性的分类。

图2：ARES分类器的示意图。展示了ARES分类器的组成结构，训练数据和运行机制

冷冰冰的量化分数难以直观反映模型的特性。基于IFS、RFS、BIS三个维度的相对表现，IRIS将模型划分为8种「性格原型」。 例如：

• UAF (The Adaptive Idealist / 适应型理想主义者)：各维度表现均衡且优秀，是目前的理想标杆。

• HDF (The Teachable Student / 孺子可教者)：虽然初始认知和现实保真度较弱，但有着极强的可塑性和执行力。

• HDR (The Dogmatic Preacher / 固执的说教者)：三维度全线崩溃，既充满偏见，又拒绝接受纠正。

这种定性诊断工具，让开发者可以根据具体的应用场景（如需要高现实保真度的社会模拟，还是需要高理想公平性的儿童插画），快速筛选出性格最匹配的AI模型。

图3：IRIS-MBTI 八大人格判定标准与原型展示图。为当前大模型的公平性表现提供了直观的「人设」画像。

在深入洞察之前，需要先了解IRIS是如何给模型「做体检」的。

IRIS基准首创了同步双任务执行流水线：在「生成」端，向模型输入包含 52 种职业的中性提示词和反刻板印象提示词，并用 ARES 对生成的数万张图像进行属性验证标注；在「理解」端，则利用定制的真实/合成图像及反事实对（Counterfactual pairs），通过无选项的 VQA 问答来深度探测模型的内在认知。最后，系统从这两条管线中计算出 60 个细粒度指标，并聚合至高维公平性空间。

图4：IRIS Benchmark 评估流水线（Pipeline）示意图。展示了生成与理解双任务并行、从数据获取到最终高维空间投影的完整流程。

依托这一严密的流水线和四大定制数据集（IRIS-Ideal-52, IRIS-Steer-60等），研究团队对当前的顶尖UMLLMs（如Bagel, Show-o, Janus-Pro, BLIP3-o等）和单一任务对照模型（专家模型）进行了全面体检，发现了多个令人深思的系统性现象：

表1：IRIS Benchmark 主要评估结果，包含被测模型的总体分数、各个维度的细化分数和模型的 IRIS MBTI 人格分类结果。

现象一：「生成鸿沟」（The Generation Gap）

测试表明，尽管目前的统一大模型在「理解」任务上与专家模型（如Qwen2.5-VL）打得有来有回，但在「生成」任务的公平性上却遭遇了全面溃败，得分远低于专用的图像生成模型（如FLUX.1-dev, SD 3.5 Large）。

现象二：统一模型惊现「人格分裂」（Personality Splits）

IRIS的同步评测暴露出UMLLMs在双任务中的巨大不一致。以VILA-U为例，它在理解任务中表现得像一个「启发式改革者（HAF）」，但在生成任务中却摇身一变成了「脚踏实地的改革者（UDF）」。这证明：共享相同的底层表征空间，并不能保证跨任务间价值观和公平性的一致。

现象三：「反刻板印象奖励」（Counter-Stereotype Reward）

这是一个极其反直觉的发现：打破偏见，不仅不会让模型‘变笨’，反而会让它画得更好！实验观察到，当要求模型生成「反刻板印象」的图像（例如：年轻女性建筑工人）时，模型输出的图像质量和语义保真度反而经常会提升。 

通过深度探测模型的内部嵌入向量（Embedding），研究人员发现：反刻板印象提示词能够触发模型进入一种「深思熟虑（Deliberative）」的认知模式，其隐状态表现出更高的能量（幅度）和复杂性（参与度），从而跳出了低质量的「思维捷径」。

IRIS不仅仅是一个排行榜，更是一把精准的「手术刀」。利用IRIS的诊断结果，研究团队成功对BLIP3-o和Harmon等模型进行了机械可解释性探针实验（Mechanistic Probe Experiments）。

例如针对BLIP3-o「理解好但生成差」的症状，团队通过RSA、M-IAT和一致性探针测试，精准定位到偏见并非来自其视觉编码器或扩散解码器，而是主要在连接自回归（AR）模型和扩散模型之间的「投影层（Projection Layer）」中被几何性地急剧放大。这为未来统一大模型架构的公平性对齐，提供了极其明确的优化靶点。

图5：模型内部探针实验流程与结果展示。1）灰色和 2）黑色箭头分别表示 1）生成和 2）理解中的数据流。

IRIS基准的提出，意义深远：

1. 统一评测范式：首次实现了对统一多模态大语言模型（UMLLMs）图文双任务的同步、交叉验证，打破了单边评测的盲区。

2. 务实的权衡哲学：通过高维空间和MBTI诊断，承认了当前AI发展阶段中实现绝对公平模型的不可能性，转而为业界提供务实的模型选择和权衡指南。

3. 打开黑盒：从表象评估深入到模型机理，发现了诸如「反刻板印象奖励」和具体的架构瓶颈，为优化模型指明了方向。

真正的智能不应仅仅是在理解时「心存公平（Fair in Mind）」，更应在生成万物时「行亦公正（Fair in Action）」。 IRIS基准的开源，无疑将成为推动统一多模态AI走向可信、向善发展的重要里程碑。