语言大模型 / LLM

Epistemic Diversity and Knowledge Collapse in Large Language Models

知识多样性与大语言模型中的知识崩溃

Dustin Wright, Sarah Masud, Jared Moore, Srishti Yadav, Maria Antoniak, Peter Ebert Christensen, Chan Young Park, Isabelle Augenstein

机构 * University of Copenhagen（哥本哈根大学） ； Aalborg University Copenhagen（奥胡斯大学哥本哈根分校） ； Stanford University（斯坦福大学） ； University of Colorado Boulder（科罗拉多大学波德分校） ； Microsoft Research（微软研究院） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过评估大语言模型的知识多样性，发现模型大小影响多样性，RAG技术提升多样性，但文化背景影响显著，且国家特定信息更偏向英语。

Comments 16 pages; 8 figures, 4 tables; v2 changelog: Fixed the modeling for table 3, random effect is the model version; v3 changelog: Fixed minor formatting issues in tables 2 and 3; v4 changelog: Fixed some typos and model description; v5 changelog: Updated metadata; v6 changelog: Improved search baseline, writing revisions, added comparisons to semantic similarity only approaches

Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning

通过行为校准强化学习缓解大语言模型幻觉

Jiayun Wu, Jiashuo Liu, Zhiyuan Zeng, Tianyang Zhan, Tianle Cai, Wenhao Huang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fudan University（复旦大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过行为校准强化学习提升大语言模型的不确定性量化能力，使其在数学推理和事实问答任务中表现更优。

Sparse CLIP: Co-Optimizing Interpretability and Performance in Contrastive Learning

稀疏CLIP：在对比学习中协同优化可解释性与性能

Chuan Qin, Constantin Venhoff, Sonia Joseph, Fanyi Xiao, Stefan Scherer

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)

AI总结 稀疏CLIP通过在对比学习中直接整合稀疏性，实现了可解释性与性能的协同优化，保留了多模态能力并提升了下游任务性能。

Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds

隐含物体恒存：深度变换器流形中的拓扑相变、自由能原理与重整化群流

Faruk Alpay, Bugra Kilictas

机构 * Department of Computer Engineering, Bahçeşehir University（计算机工程系，巴切谢希尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究深度变换器模型中多步推理的隐含物体恒存现象，通过拓扑相变和重整化群流揭示低熵区域的形成机制。

Comments 12 pages, 3 figures

Hallucination Begins Where Saliency Drops

幻觉始于显著性下降

Xiaofeng Zhang, Yuanchao Zhu, Chaochen Gu, Xiaosong Yuan, Qiyan Zhao, Jiawei Cao, Feilong Tang, Sinan Fan, Yaomin Shen, Chen Shen, Hao Tang

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出LVLMs-Saliency框架，通过融合注意力权重与输入梯度，利用显著性引导拒绝采样和局部连贯性强化机制，有效减少幻觉并提升模型可靠性。

Comments Accepted in ICLR 2026

Visual Multi-Agent System: Mitigating Hallucination Snowballing via Visual Flow

视觉多智能体系统：通过视觉流缓解幻觉雪球效应

Xinlei Yu, Chengming Xu, Guibin Zhang, Yongbo He, Zhangquan Chen, Zhucun Xue, Jiangning Zhang, Yue Liao, Xiaobin Hu, Yu-Gang Jiang, Shuicheng Yan

机构 * National University of Singapore（国立新加坡大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出ViF方法，通过视觉流和注意力重新分配缓解多智能体系统中的视觉幻觉雪球效应，提升性能。