NeurIPS'26|大模型有思考惯性:答案越开放,越停不下思考

新智元报道
新智元报道

通过接口关掉大模型的「思考模式」(如将Qwen3的enable_thinking设为False),再告诉它「不要推理,直接给出答案」,它就会直接回答吗?实际输出并不符合我们日常直觉。
清华大学、牛津大学和斯坦福大学的研究者系统测试了这个问题。他们发现,即使关闭思考模式,模型仍可能在最终答案前写出计算或推导;题目越开放,这种现象越明显。研究者把这种现象称为Thinking Inertia(思考惯性)。

论文链接:https://arxiv.org/abs/2610.11765
项目主页:https://thinking-inertia.github.io/
代码链接:https://github.com/thinking-inertia/code
轨迹数据:https://huggingface.co/datasets/thinking-inertia/llm-nothinking-trajectories

图1 即使明确要求只输出选项,模型仍可能写出解题过程。
判断模型是否在推理,不能只看思考开关或回答长度。一个关闭了思考开关的模型,仍然可能在普通回答区写出计算过程;一段很长的文字,也可能只是重复题目、套用格式,未必包含真正的推理。
于是,研究者把回答拆成前置文字与最终答案,再分三层检查。ETR看模型有没有真的只给答案:答案格式必须合法,前后都不能有实质性文字。QRel.衡量前置文字与问题的相关性,复述题目也可能得分较高。EIR则进一步判断其中有没有计算、比较、排除等显式推理步骤。
负责评判的模型看不到被测模型的身份和实验设置。在600条抽样输出上,五名标注者与自动评判的「是否包含显式推理」二分类平均一致率为98.8%。

图2 三层指标分别检查是否只给答案、文字是否相关、是否包含显式推理。
实验覆盖Qwen3、DeepSeek、GPT和Gemini四个家族的六个模型,在六个基准上测试不同思考设置和作答指令对输出的影响。问题分为判断题、选择题和需要自行生成答案的开放式数学题。
总体而言,只需回答是或否时,模型更容易直接作答;选择题的显式推理比例居中;到了开放题,答案前的可见推理明显增多。更严格的「只给答案」指令会降低显式推理比例,但三类任务之间的总体排序依然存在:开放题 > 选择题 > 是非题。
一个直观例子来自DeepSeek-V4-Flash:关闭思考模式后,它在GSM8K和MATH两项基准上的总体显式推理率仍达99.9%。
这意味着,关闭思考开关,并不能保证模型在最终答案前省略推理过程。
即使最终答案正确,模型仍可能没有遵循「只给答案、不输出推理」的要求;答对题与按要求直接作答,是两个需要分别评价的维度。
差异是否来自题目本身?
研究者从MMLU和MMLU-Pro中选取一批数值答案题,保留题干,改变候选答案和作答要求,并在Qwen3-32B关闭思考模式的设置下比较。
原始选择题的准确率为77.8%,只给答案的比例为10.5%;改成判断题,让模型核对一个给定答案后,准确率仍为78.9%,只给答案的比例却升到62.5%。去掉候选项,让模型自行生成结果时,准确率降到52.6%,只给答案的比例变为0,显式推理比例达到90.1%。
有候选答案时,模型可以核对或选择;没有候选答案时,它需要自己构造结果,也更容易在答案前写出推理过程。

图3 同一批题目改成不同回答形式后,准确率和输出行为随之变化。
要求模型少写过程,还会牵动最终准确率。对五个支持关闭思考模式的模型,在开放式数学题上进一步加入严格的只给答案指令后,平均只给答案比例从接近0提高到约40%,平均准确率下降约15个百分点。判断题和选择题的准确率变化则相对平稳。
因此,能否按要求不输出推理、直接作答,也应成为一项受到重视、被独立评估的模型能力。
这种能力不会随着思考开关的关闭自动获得,评测时需要同时考察输出合规性与答案正确率。
这项工作也引起了社区的后续验证。George Shostakovych 受论文启发,对Gemini-4-Argon、GPT-6-Astra、Kimi-K3、DeepSeek-V4-Flash和Muse-Wonder-1.0进行了小规模独立测试,在其中观察到关闭思考后仍可能输出显式推理的现象,并在博客中报告了结果[2]。
第一作者Dianqiao Lei 是清华大学大四本科生,Kevin Qinghong Lin 与 Philip Torr、James Zou 共同担任通讯作者。
Kevin Qinghong Lin 是牛津大学博士后学者;Pan Lu 是斯坦福大学博士后学者;Philip Torr 是牛津大学工程科学系教授;James Zou 在斯坦福大学计算机科学系和电气工程系任副教授。
论文已被 NeurIPS 2026 接收,论文、代码和数据已公开。
参考资料:
[1] Thinking Inertia: LLMs Keep Thinking When Told Not To https://arxiv.org/abs/2610.11765
[2] George Shostakovych. 'Answer only' is a request, not a switch. 2026年10月15日。 https://gshost.dev/writing/answer-only-is-a-request/
编辑:LRST