语言大模型 / LLM

Structured Uncertainty guided Clarification for LLM Agents

结构不确定性引导的LLM代理澄清

Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出结构不确定性框架，通过量化潜在问题的澄清价值，提升LLM代理在模糊任务中的推理效率和训练效率，展示了其在SAGE-Agent和ClarifyBench中的有效性。

Hallucination Basins: A Dynamic Framework for Understanding and Controlling LLM Hallucinations

幻觉盆地：一种动态框架用于理解和控制LLM幻觉

Kalyan Cherukuri, Lav R. Varshney

机构 * Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院） ； AI Innovation Institute, Stony Brook University（石溪大学人工智能创新研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出几何动态系统框架，通过分析潜在空间中的盆地结构来理解LLM幻觉现象，发现任务依赖性显著影响分离性，并通过任务复杂度和多盆地定理展示几何感知引导可降低幻觉概率。

Magic, Madness, Heaven, Sin: LLM Output Diversity is Everything, Everywhere, All at Once

魔术、疯狂、天堂、罪恶：LLM输出多样性无处不在

Harnoor Dhingra

机构 * Microsoft（微软） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Magic, Madness, Heaven, Sin框架，从四个规范性场景分析LLM输出多样性，揭示任务目标对输出多样性的影响，强调需基于任务目标进行多样性评估。

Comments Under review

Navigating the Concept Space of Language Models

在语言模型的概念空间中导航

Wilson E. Marcílio-Jr, Danilo M. Eler

机构 * Adaption Labs（Adaption实验室） ； São Paulo State University (UNESP)（圣保罗州立大学（UNESP）） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Concept Explorer系统，通过层次化邻域嵌入组织SAE特征，实现对语言模型概念的可扩展交互探索，揭示高阶结构、有意义子簇和稀有概念。

DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles

DiscoUQ：用于LLM代理集合不确定性量化中的结构分歧分析

Bo Jiang

机构 * Temple University（Temple 大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DiscoUQ框架，通过分析代理间分歧的结构特性，提升不确定性量化效果，实验表明其在多个基准测试中表现优异，尤其在弱分歧层级表现突出。

Probing Association Biases in LLM Moderation Over-Sensitivity

探测LLM内容审查中的关联偏差过灵敏问题

Yuxin Wang, Botao Yu, Ivory Yang, Saeed Hassanpour, Soroush Vosoughi

机构 * Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系） ； Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究LLM在内容审查中因主题关联偏差导致的过灵敏问题，提出Topic Association Analysis方法，发现高级模型在误报中存在更强的主题关联偏移，表明需结合关键词过滤与学习主题关联来缓解。

Comments Preprint

Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models

LLMs能否检测其编造？在不确定性感知语言模型中估计可靠性

Tianyi Zhou, Johanne Medina, Sanjay Chawla

机构 * KTH Royal Institute of Technology（皇家理工学院） ； QCRI, HBKU（哈马德 bin 玉素菲大学量子计算与人工智能研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了上下文信息如何影响模型行为，并提出利用token级不确定性来指导内部表示聚合的可靠性估计方法，通过实验发现正确上下文能提升回答准确性，而误导性上下文常导致自信错误响应。

Comments Published at AAAI'26

Mechanistic Origin of Moral Indifference in Language Models

语言模型中道德冷漠的机制起源

Lingyu Li, Yan Teng, Yingchun Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示语言模型存在内在道德冷漠，通过构建道德向量并重构其拓扑关系，提升道德推理能力，实现75%的对抗性基准测试胜率。

Comments 24 pages, 11 figures, 5 tables

Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models

fMRI证据支持语言模型中的两阶段抽象过程

Emily Cheng, Richard J. Antonello

机构 * Universitat Pompeu Fabra Barcelona（巴塞罗那庞培乌法布拉大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过fMRI数据表明，语言模型中存在两阶段抽象过程，中间层在预测自然语言刺激脑响应方面表现更优，且抽象过程随训练进行自然形成，与表示的内在维度性有关。

Comments Equal contribution from both authors. Submitted to NeurIPS NeuroAI workshop 2024

Journal ref Best abstract at NeurIPS UniReps 2024

Anthropomimetic Uncertainty: What Verbalized Uncertainty in Language Models is Missing

拟人化不确定性：语言模型中言语不确定性所缺失的内容

Dennis Ulmer, Alexandra Lorson, Ivan Titov, Christian Hardmeier

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了语言模型中言语不确定性缺失的问题，提出拟人化不确定性的概念，旨在通过模仿人类语言行为提升模型的可信度和人机协作效果。

Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models

在离散潜在空间中进行下一步概念预测可使语言模型更强大

Yuliang Liu, Yunchong Song, Yixuan Wang, Kewen Ge, Alex Lamb, Qipeng Guo, Kai Chen, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Department of Electronic Engineering（电子工程系） ； College of Artificial Intelligence（人工智能学院） ； Tsinghua University（清华大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 通过在离散潜在空间中进行下一步概念预测，ConceptLM在预训练任务中实现了更强大的语言模型性能。

TruthPrInt: Mitigating Large Vision-Language Models Object Hallucination Via Latent Truthful-Guided Pre-Intervention

TruthPrInt: 通过潜在真实引导预干预缓解大视觉-语言模型对象幻觉

Jinhao Duan, Fei Kong, Hao Cheng, James Diffenderfer, Bhavya Kailkhura, Lichao Sun, Xiaofeng Zhu, Xiaoshuang Shi, Kaidi Xu

机构 * Drexel University（德雷塞尔大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； LLNL（劳伦斯利弗莫尔国家实验室） ； Lehigh University（莱斯大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 TruthPrInt通过学习真相方向并引导解码过程，有效缓解大视觉-语言模型中的对象幻觉问题。

Comments 15 pages, 9 figures, the first two authors contributed equally, Accepted by ICCV 2025

Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution

模拟采纳：在大语言模型上下文冲突解决中解耦幅度与方向

Long Zhang, Fangwei Lin

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究揭示大语言模型在解决上下文冲突时通过几何位移机制实现模拟采纳，而非单纯抑制知识幅度。

<SOG_k>: One LLM Token for Explicit Graph Structural Understanding

<SOG_k>: 一个LLM令牌用于显式图结构理解

Jingyao Wu, Bin Lu, Zijun Di, Xiaoying Gan, Meng Jin, Luoyi Fu, Xinbing Wang, Chenghu Zhou

机构 * Shanghai Jiao Tong University（上海交通大学） ； IGSNRR, Chinese Academy of Sciences（中科院信息融合国家重点实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出<SOG_k>令牌，通过统一令牌空间实现图结构的显式表示，提升LLM对图结构的理解、生成和推理能力。

Component-Level Lesioning of Language Models Reveals Clinically Aligned Aphasia Phenotypes

语言模型组件级损伤揭示临床对齐的失语症表型

Yifan Wang, Jichen Zheng, Jingyuan Sun, Yunhao Zhang, Chunyu Ye, Jixing Li, Chengqing Zong, Shaonan Wang

机构 * Department of Computer Science, The University of Manchester, UK（曼彻斯特大学计算机科学系） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China（多模态人工智能系统国家重点实验室，中国科学院自动化研究所，北京） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院，北京） ； Department of Linguistics and Translation, City University of Hong Kong, Hong Kong（香港城市大学语言学与翻译系） ； Department of Language Science and Technology, Hong Kong Polytechnic University, Hong Kong（香港理工大学语言科学与技术系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过模块化LLM的组件级损伤模拟失语症，揭示临床相关的语言功能退化机制

ProtSAE: Disentangling and Interpreting Protein Language Models via Semantically-Guided Sparse Autoencoders

ProtSAE：通过语义引导的稀疏自编码器解构和解释蛋白质语言模型

Xiangyu Liu, Haodi Lei, Yi Liu, Yang Liu, Wei Hu

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 ProtSAE通过语义引导的稀疏自编码器解构蛋白质语言模型，提升其潜在空间中生物相关特征的可解释性与重建保真度。

Comments Accepted in the 39th AAAI Conference on Artificial Intelligence (AAAI 2026)

Multiplicative Orthogonal Sequential Editing for Language Models

乘法正交序列编辑用于语言模型

Hao-Xiang Xu, Jun-Yu Ma, Ziqi Peng, Yuhao Sun, Zhen-Hua Ling, Jia-Chen Gu

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 MOSE通过乘法正交矩阵编辑方法提升语言模型的序列编辑性能，同时保持一般能力。

Comments Accepted by AAAI 2026

KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning

KaLM: 通过双视角知识图谱对比学习实现知识对齐的自回归语言模型

Peng Yu, Cheng Deng, Beiya Dai, Xinbing Wang, Ying Wen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 KaLM通过双视角知识图谱对比学习和三元组完成语言模型，实现LLMs与知识图谱的对齐，提升知识驱动任务的性能。

Comments The article has been accepted by Frontiers of Computer Science (FCS), with the DOI: {10.1007/s11704-026-50906-6}

Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Guidance with Proxy Constraint

面向通过纠缠引导与代理约束缓解大语言模型卸载过度遗忘的方案

Zhihao Liu, Jian Lou, Yuke Hu, Xiaochen Li, Yitian Chen, Tailun Chen, Zhizhen Qin, Kui Ren, Zhan Qin

机构 * Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） ； Amazon（亚马逊） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 EGUP通过纠缠引导与代理约束缓解大语言模型卸载过度遗忘问题，提升卸载-效用权衡性能。

Dynamic and Adaptive Feature Generation with LLM

动态和自适应特征生成与大语言模型

Xinhao Zhang, Jinghan Zhang, Banafsheh Rekabdar, Yuanchun Zhou, Pengfei Wang, Kunpeng Liu

机构 * Portland State University（波特兰州立大学） ； Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of Chinese Academy of Sciences, Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用大语言模型和特征生成提示，实现动态和自适应的特征生成方法，以提高特征生成的可解释性、适用性和灵活性。

Comments Accepted by IJCAI 2025

NeuronScope: A Multi-Agent Framework for Explaining Polysemantic Neurons in Language Models

NeuronScope：一种用于解释语言模型中多义神经元的多智能体框架

Weiqi Liu, Yongliang Miao, Haiyan Zhao, Yanguang Liu, Mengnan Du

机构 * Wuhan University（武汉大学） ； Hong Kong Baptist University（香港 Baptist大学） ； New Jersey Institute of Technology（新泽西理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 NeuronScope通过多智能体框架迭代优化神经元解释，揭示语言模型中隐藏的多义性并提升解释的激活相关性。

Explainability-Based Token Replacement on LLM-Generated Text

基于可解释性的token替换在LLM生成文本中

Hadi Mohammadi, Anastasia Giachanou, Daniel L. Oberski, Ayoub Bagheri

机构 * Department of Methodology and Statistics, Utrecht University（方法论与统计学系，乌得勒支大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于可解释性的token替换方法，通过集成分类器和SHAP/LIME技术，降低AI生成文本的可检测性，同时强调多模型策略在对抗token操纵中的有效性。

Understanding Structural Representation in Foundation Models for Polymers

理解聚合物基础模型中的结构表示

Nathaniel H. Park, Eduardo Soares, Victor Y. Shirasuna, Tiffany J. Callahan, Sara Capponi, Emilio Vital Brazil

机构 * IBM Research Almaden（IBM阿尔马登研究院） ； IBM Research Brazil（IBM巴西研究院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于SMILES的聚合物图表示方法，展示了其在28个基准数据集上的高性能，并揭示了SMILES表示的强不变性及化学语言模型对序列空间的遍历性。

Chemistry Integrated Language Model using Hierarchical Molecular Representation for Polymer Informatics

整合化学语言模型：用于聚合物信息学的分层分子表示

Jihun Ahn, Gabriella Pasya Irianti, Vikram Thapar, Su-Mi Hur

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 CI-LLM通过分层分子表示提升聚合物信息学中的预测与反向设计能力。

LLM Probing with Contrastive Eigenproblems: Improving Understanding and Applicability of CCS

Stefan F. Schouten, Peter Bloem

机构 * Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to the Mechanistic Interpretability Workshop at NeurIPS 2025

Region-Aware Reconstruction Strategy for Pre-training fMRI Foundation Model

Ruthwik Reddy Doodipala, Pankaj Pandey, Carolina Torres Rojas, Manob Jyoti Saikia, Ranganatha Sitaram

机构 * St. Jude Children’s Research Hospital（圣犹大儿童研究医院） ； The University of Memphis（密苏里大学梅尔斯分校） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Activations

Li Ji-An, Hua-Dong Xiong, Robert C. Wilson, Marcelo G. Mattar, Marcus K. Benna

机构 * Neurosciences Graduate Program University of California San Diego（加州大学圣地亚哥分校神经科学研究生项目） ； School of Psychology Georgia Tech（佐治亚理工学院心理学系） ； Department of Psychology New York University（纽约大学心理学系） ； Department of Neurobiology University of California San Diego（加州大学圣地亚哥分校神经生物学系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

On Epistemic Uncertainty of Visual Tokens for Object Hallucinations in Large Vision-Language Models

Hoigi Seo, Dong Un Kang, Hyunjin Cho, Joohoon Lee, Se Young Chun

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

MLLM4TS: Leveraging Vision and Multimodal Language Models for General Time-Series Analysis

Qinghua Liu, Sam Heshmati, Zheda Mai, Zubin Abraham, John Paparrizos, Liu Ren

机构 * The Ohio State University（俄亥俄州立大学） ； Bosch Research North America（博世北美研究） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

The Role of Model Confidence on Bias Effects in Measured Uncertainties for Vision-Language Models

Xinyi Liu, Weiguang Wang, Hangfeng He

机构 * University of Rochester（罗切斯特大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to EMNLP Findings