视觉-语言模型中的冲突适应
Conflict Adaptation in Vision-Language Models
AI总结：
本研究通过序列Stroop任务发现多数视觉-语言模型存在类人的冲突适应行为，借助稀疏自编码器在InternVL 3.5 4B中定位到任务相关及冲突调控的超节点，揭示了该行为的神经表征基础。
摘要：
人类认知控制的一个标志性特征是冲突适应：在经历一次高冲突试次后，个体在后续高冲突试次中的表现会有所提升。这一现象为认知控制这一稀缺资源如何被调用提供了解释。通过采用序列Stroop任务，我们发现在测试的13个视觉-语言模型（VLM）中，有12个表现出与冲突适应一致的行为，唯一的例外很可能是由天花板效应导致的。为探究该行为的表征基础，我们使用稀疏自编码器（SAE，sparse autoencoders）在InternVL 3.5 4B中识别出与任务相关的超节点。文本与颜色对应的超节点在网络的早期层和晚期层均存在部分重叠，且它们的相对大小反映了人类阅读与颜色命名之间的自动化程度不对称性。我们进一步在第24-25层中分离出一个受冲突调控的超节点，对其进行消融会显著增加Stroop任务错误率，同时对一致试次的影响极小。
英文摘要：
A signature of human cognitive control is conflict adaptation: improved performance on a high-conflict trial following another high-conflict trial. This phenomenon offers an account for how cognitive control, a scarce resource, is recruited. Using a sequential Stroop task, we find that 12 of 13 vision-language models (VLMs) tested exhibit behavior consistent with conflict adaptation, with the lone exception likely reflecting a ceiling effect. To understand the representational basis of this behavior, we use sparse autoencoders (SAEs) to identify task-relevant supernodes in InternVL 3.5 4B. Partially overlapping supernodes emerge for text and color in both early and late layers, and their relative sizes mirror the automaticity asymmetry between reading and color naming in humans. We further isolate a conflict-modulated supernode in layers 24-25 whose ablation significantly increases Stroop errors while minimally affecting congruent trials.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
