语言大模型 / LLM

Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning

多模态大语言模型空间推理中空间词汇偏差的机制诊断

Chuang Ma, Qianying Liu, Tomoyuki Obuchi, Fei Cheng, Wang Yang, Sudong Cai, Shuyuan Zheng, Akiko Aizawa, Sadao Kurohashi

机构 * Kyoto University（京都大学） ； NII LLMC（日本国立信息与通信技术研究所语言模型中心） ； RIKEN AIP（日本理化学研究所先进理工研究所） ； Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Osaka（大阪大学） ； University of Tokyo（东京大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文发现多模态大语言模型存在空间词汇偏差，即添加空间关系词会吸引模型选择该选项，并通过机制可解释性工具揭示偏差主要源于语言侧而非视觉侧，最后提出轻量级LLM-only DPO更新可有效缓解偏差。

Revisiting Parameter-Based Knowledge Editing in Large Language Models: Theoretical Limits and Empirical Evidence

重新审视大型语言模型中基于参数的知识编辑：理论极限与实证证据

Wanying Ren, Xin Song, Futing Wang, Guoxiu He, Aixin Sun

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文通过理论分析和实证评估，揭示了基于参数的知识编辑方法会因维度坍缩假设导致全局干扰和推理崩溃，而简单的检索基线方法在所有条件下均表现更优。

Comments Accepted to ICML 2026. Equal contribution by the first two authors. 9 pages main paper, 10 figures, with appendix

Quality-Diversity Evolution for Discovering Diverse Vulnerabilities in LLM Safety

用于发现LLM安全中多样漏洞的质量-多样性进化

Subhadip Mitra

机构 * Rota Labs（Rota实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 提出基于质量-多样性进化框架（MAP-Elites）在语义层面生成可解释攻击策略，发现不同LLM的特定漏洞模式。

Comments 9 pages, 6 figures. Accepted at the ICLR 2026 Workshop on Agents in the Wild (AIWILD)

Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models

相对于语义保持嵌入的梯度揭示大语言模型的不确定性

Mingda Li, Rundong Lv, Xinyu Li, Weinan Zhang, Ting Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出首个基于梯度的自由文本生成不确定性量化方法SemGrad，通过语义空间中的梯度计算实现高效且无需采样的不确定性估计。

Comments Accepted by ICML 2026

Model-Dowser: Data-Free Importance Probing to Mitigate Catastrophic Forgetting in Multimodal Large Language Models

Model-Dowser：无数据重要性探测以缓解多模态大语言模型中的灾难性遗忘

Hyeontaek Hwang, Nguyen Dinh Son, Daeyoung Kim

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出Model-Dowser，一种基于重要性评分的稀疏微调方法，通过联合考虑权重幅度、输入激活和输出敏感性来缓解多模态大语言模型微调中的灾难性遗忘，在LLaVA和NVILA上优于现有方法。

Comments Accepted at ICML 2026. Code link: https://model-dowser.github.io

AdaptiveK: Complexity-Driven Sparse Autoencoders for Interpretable Language Model Representations

AdaptiveK：基于复杂度的稀疏自编码器用于可解释的语言模型表示

Yifei Yao, Hanrong Zhang, Mengnan Du

机构 * Zhejiang University（浙江大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.LG

AI总结 提出 AdaptiveK SAE，根据输入语义复杂度动态调整稀疏度，利用线性探针引导特征分配，在重构保真度、解释方差、余弦相似度和可解释性指标上优于固定稀疏度方法。

Comments Accepted by ACL 2026

KG-Guard: Graph-Based Hallucination Detection for Knowledge Base Question Answering

KG-Guard: 基于图的知识库问答幻觉检测

Albert Sawczyn, Piotr Bielak, Tomasz Kajdanowicz

机构 * Department of Artificial Intelligence（人工智能系） ； Wroclaw University of Science and Technology（波兹南科技大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对知识库问答中LLM的幻觉问题，提出一种轻量级图框架，将问答实例构建为增强图，通过图编码器和MLP分类器检测幻觉答案节点，在三个基准上取得最高F1并显著提升下游KBQA性能。

Comments preprint

DLLM-JEPA: Joint Embedding Predictive Architectures for Masked Diffusion Language Models

DLLM-JEPA：用于掩码扩散语言模型的联合嵌入预测架构

Sangdae Nam

机构 * Sangdae Nam 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出DLLM-JEPA，通过将联合嵌入预测架构与掩码扩散语言模型结合，消除显式多视图数据和双梯度前向传播需求，在多个任务上提升准确率并降低训练FLOPs。

Comments 17 pages, 4 figures, 13 tables. Accepted at SPIGM Workshop, ICML 2026

A Monosemantic Attribution Framework for Stable Interpretability in Clinical Neuroscience Transformer-Based Language Models

面向临床神经科学中基于Transformer的语言模型的稳定可解释性的单语义归因框架

Michail Mamalakis, Tiago Azevedo, Cristian Cosentino, Chiara D'Ercoli, Subati Abulikemu, Zhongtian Sun, Richard Bethlehem, Pietro Lio

机构 * Department of Computer Science and Technology（计算机科学与技术系） ； Cancer Research UK（癌症研究英国公司） ； Cambridge Institute（剑桥研究所） ； University of Cambridge（剑桥大学） ； United Kingdom（英国） ； DIMES（迪梅斯） ； University of Calabria（卡拉布里亚大学） ； Italy（意大利） ； Department of Computer Automatic and Management Engineering (DIAG)（计算机自动与管理工程系） ； Sapienza Università di Roma（罗马大学萨皮恩扎） ； Department of Psychiatry（精神病学系） ； School of Computing（计算学院） ； University of Kent（肯特大学） ； Department of Psychology（心理学系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出一种通过单语义特征提取整合归因与机制视角的统一可解释性框架，生成稳定的输入级重要性分数，促进语言模型在认知健康和神经退行性疾病中的安全应用。

PEACE: A Planner-Executor Agent with Constraint Enforcement for UAVs

PEACE: 一种用于无人机的带约束执行的规划-执行智能体

Erdem Uysal, Timo Kehrer, Sebastiano Panichella

机构 * Institute of Computer Science, University of Bern（伯尔尼大学计算机科学研究所） ； AI4I - The Italian Institute of Artificial Intelligence（意大利人工智能研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出一种基于大语言模型的规划-执行智能体架构，通过解耦高层任务规划与低层控制，并引入约束执行层和有限重规划，实现无人机可解释、可约束的自主飞行。

Comments Accepted to ICRA 2026 Workshop on Semantics for Reliable Robot Autonomy: From Environment Understanding and Reasoning to Safe Interaction

Vibe-driven model-based engineering

基于氛围驱动的模型工程

Jordi Cabot

机构 * Luxembourg Institute of Science and Technology（卢森堡科学与技术研究院） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出氛围驱动模型工程概念，融合大型语言模型（LLM）的代码生成能力与模型驱动工程（MDE）的严谨性，以加速可靠复杂系统的开发。

How Language Models Process Negation

语言模型如何处理否定

Zhejian Zhou, Tianyi Zhou, Robin Jia, Jonathan May

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究大型语言模型处理否定的内部机制，发现模型内部存在正确处理的组件，但后期注意力层导致错误，通过消融可提升准确率；模型同时采用抑制和构建两种机制，其中构建机制更显著。

Comments ICML 2026

Concept Heterogeneity-aware Representation Steering

概念异质性感知表示引导

Laziz U. Abdullaev, Noelle Y. L. Wong, Ryan T. Z. Lee, Shiqi Jiang, Khoi N. M. Nguyen, Tan M. Nguyen

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型表示非均匀导致全局引导脆弱的问题，提出基于最优传输的输入依赖引导方法CHaRS，通过高斯混合模型和离散最优传输实现更有效的行为控制。

Journal ref ICML 2026

Interpreto: An Explainability Library for Transformers

Interpreto：一个用于Transformer的可解释性库

Antonin Poché, Thomas Mullor, Gabriele Sarti, Frédéric Boisnard, Corentin Friedrich, Charlotte Claye, François Hoofd, Raphael Bernas, Nicholas Asher, Céline Hudelot, Fanny Jourdan

机构 * IRT Saint Exupéry Toulouse（伊尔杜夫圣埃克苏佩里图卢斯） ； IRIT Toulouse（图卢兹IRIT） ； Khoury College of Computer Sciences（科赫里计算机科学学院） ； Ampere（阿姆佩尔） ； MICS, CentraleSupélec（MICS，中央超导学院） ； Scienta Lab（科学实验室） ； Thales Avionics（泰勒斯航空电子） ； ANITI 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Interpreto是一个开源Python库，通过归因方法和基于概念的解释，为HuggingFace语言模型（从早期BERT变体到LLM）提供统一的解释工作流，其端到端基于概念的流水线是主要创新。

Comments Accepted to ACL 2026 System Demonstration. Equal contribution: Poché and Jourdan

On the Salience of Low-Probability Tokens for AI-Generated Text Detection: A Multiscale Uncertainty Perspective

低概率标记对AI生成文本检测的显著性：多尺度不确定性视角

Yikai Guo, Bin Wang, Xilai Fan, Wenjun Ke, Haoran Luo

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对AI生成文本检测中模板标记主导和点估计脆弱的问题，提出基于低概率标记的多尺度不确定性估计器Uncertainty及其改进版Uncertainty++，在多个数据集和LLM上验证了有效性、泛化性和鲁棒性。

Comments Accepted by ICML 2026 main conference

FLaG: Fine-Grained Latent Grouping for Hallucination Detection

FLaG：用于幻觉检测的细粒度潜在分组

Wentao Ye, Liyao Li, Zhiqing Xiao, Muzhi Zhu, Jiaqi Hu, Zhanming Shen, Xiaomeng Hu, Sean Du, Haobo Wang

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出FLaG框架，通过能量路由机制将实例软关联到多个潜在证据组，并利用对数边际聚合组合组条件可靠性信号，以捕获异构幻觉模式，实现无需修改底层模型的高效幻觉检测。

The Role of Ambiguity in Error Prediction via Uncertainty Quantification

不确定性量化中模糊性在错误预测中的作用

Ieva Raminta Staliūnaitė, James Bishop, Andreas Vlachos

机构 * University of Cambridge（剑桥大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过解耦输入模糊性与不确定性信号，利用门控专家和选择性预测提升大语言模型在问答任务中的错误预测性能。

Comments 8 pages not including references and appendices, 3 figures

Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing

幻觉是空间最优性的结果：成员测试的率失真定理

Anxin Guo, Jingwei Li

机构 * Computer Science Department, Northwestern University（西北大学计算机科学系） ； Department of IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过将幻觉形式化为成员测试问题，建立率失真定理，证明在有限容量下信息论最优策略必然导致对某些非事实的高置信度，从而产生幻觉。

Comments ICML 2026

Spatial Representation Learning Beyond Pixels: Unifying Raster Data and Vector Semantics for Human-Centric Geospatial Foundation Models

超越像素的空间表示学习：统一栅格数据和向量语义以构建以人为中心的地理空间基础模型

Steffen Knoblauch, Hao Li, Gengchen Mai, Konstantin Klemmer, Song Gao, WenWen Li

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出统一栅格感知与向量推理的联合空间表示学习范式，旨在解决当前地球观测基础模型仅依赖栅格模态、忽略向量数据中丰富结构化信息的局限性。

RA-LWLM: Retrieval-Augmented In-Context Localization with Wireless Foundation Models

RA-LWLM：基于检索增强的上下文无线定位基础模型

Guangjin Pan, Hui Chen, Hei Victor Cheng, Henk Wymeersch

机构 * Department of Electrical Engineering, Chalmers University of Technology（查尔姆斯理工大学电子工程系） ； Department of Electrical and Computer Engineering, Aarhus University（阿鲁斯大学电子与计算机工程系） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出RA-LWLM框架，通过将场景特定信息外化到指纹数据库，实现无需训练的跨场景无线定位，利用冻结的无线基础模型编码器、检索模块和基于Transformer的上下文学习模块预测用户位置。

Comments 13 pages, 9 figures. This work has been submitted to the IEEE for possible publication

On the Uncertainty Quantification Ability of Tabular Foundation Models

关于表格基础模型的不确定性量化能力

Tyler R. Johnson, Kian Ben-Jacob, Nima Negarandeh, Oriol Vendrell-Gallart, Ramin Bostanabad

机构 * Department of Mechanical and Aerospace Engineering, University of California, Irvine（加州大学欧文分校机械与航空航天工程系） ； Department of Civil and Environmental Engineering, University of California, Irvine（加州大学欧文分校土木与环境工程系） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 通过对比TabPFN与高斯过程在回归任务上的实证研究，揭示了显式先验与学习先验之间的权衡：TabPFN在复杂高维问题中表现优异，而高斯过程在数据稀缺时提供更优的预测精度和不确定性量化。

Comments 12 pages, 2 figures, 2 tables

Understanding the Self-Reflection Mechanisms of LLMs through Biased Attitude Associations

理解大语言模型通过偏见态度关联的自我反思机制

Jingshen Zhang, Bo Wang, Boci Yang, Dongming Zhao, Ruifang He, Yuexian Hou, Zifei Yu

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出 ReBias-Lens 框架，通过价态波动指标分析大语言模型自我反思如何重新配置偏见态度关联，发现层间平滑化减少整体偏见但局部偏见顽固放大。

Correcting Gradient-Based Circuit Localization via Interaction-Aware Backpropagation

通过交互感知反向传播修正基于梯度的电路定位

Joakim Edin, Casper L. Christensen, Róbert Csordás, Tuukka Ruotsalo, Zhengxuan Wu, Maria Maistro, Jing Huang, Lars Maaløe

机构 * Corti ； Stanford University（斯坦福大学） ； Copenhagen University（哥本哈根大学） ； LUT University（拉普兰大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对现有电路定位方法忽略组件交互导致重要性误估的问题，提出GIM技术，通过在反向传播中显式建模特征交互，在机械可解释性基准的电路定位任务上达到最优性能。

Revisiting Ripple Effects in Knowledge Editing through Pressure-Aware Joint Neighborhood Optimization

重新审视知识编辑中的涟漪效应：通过压力感知联合邻域优化

Haoben Huang, Shuxin Liu, Ou Wu, Di Gao

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（杭州高等研究院，中国科学院大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型单次编辑引发的涟漪效应，提出联合邻域优化框架，通过压力感知协调和语义预执行门控联合优化可编辑侧与保留侧的耦合压力，在RippleEdits上传播与保留指标提升至少7.0%。

AnyEdit++: Adaptive Long-Form Knowledge Editing via Bayesian Surprise

AnyEdit++: 基于贝叶斯惊讶的自适应长文本知识编辑

Bowen Tian, Caixue He, Jiemin Wu, Jingying Wang, Wenshuo Chen, Zexi Li, Yutao Yue

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AnyEdit++框架，通过基于贝叶斯惊讶的自适应分割机制Bayes-Chunk，实现结构感知的长文本知识编辑，在数学推理、代码生成和叙事任务上优于现有方法。

Comments Accepted by ICML 2026

TriLens: Per-Layer Logit-Lens Entropy for White-Box Hallucination Detection

TriLens: 基于逐层Logit-Lens熵的白盒幻觉检测

Bohan Yang, Yijun Gong, Zhi Zhang, Ge Zhang, Wenpeng Xing, Meng Han

机构 * Binjiang Institute of Zhejiang University（浙江大学滨海学院） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学） ； Zhejiang University（浙江大学） ； GenTel.io ； Great Bay University（Great Bay大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出TriLens方法，通过在每个Transformer层读取多头自注意力、前馈网络和残差流的logit-lens输出熵，构建紧凑的3L维轨迹，有效检测大语言模型幻觉。

From Features to Actions: Explainability in Traditional and Agentic AI Systems

从特征到行动：传统与智能体AI系统中的可解释性

Sindhuja Chaduvula, Jessee Ho, Kina Kim, Aravind Narayanan, Ahmed Y. Radwan, Mahshid Alinoori, Muskan Garg, Dhanesh Ramachandram, Shaina Raza

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； Independent Researcher（独立研究者） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文比较了基于归因的解释与基于轨迹的诊断在静态和智能体设置中的效果，发现归因方法无法可靠诊断智能体轨迹中的执行级故障，而轨迹级可解释性更能定位行为故障。

CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs

CURP: 基于码本的连续用户表示用于大语言模型的个性化生成

Liang Wang, Xinyi Mou, Xiaoyou Liu, Xuanjing Huang, Zhongyu Wei

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Shanghai Innovation Institute（上海创新研究院） ； School of Computer Science, Fudan University（复旦大学计算机科学学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CURP框架，通过双向用户编码器和离散原型码本提取多维用户特征，实现少量可训练参数的即插即用个性化生成，在变体生成任务上优于强基线。

MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue

MM-Snowball：多模态多轮对话中的幻觉雪崩评估与缓解

Yue Jiang, Xue Jiang, Lihua Zhang, Zhiqiang Wang, Yuhang Lu, Peng Wang, Bo Han, Feng Zheng, Dingkang Yang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Southern University of Science and Technology（南方科技大学） ； TMLR Group, Hong Kong Baptist University（香港 Baptist 大学 TMLR 团体） ； MM Lab, CUHK（CUHK 多模态实验室） ； RAMS Lab, Huawei Technologies Co., Ltd.（华为技术有限公司 RAMS 实验室） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)

AI总结 针对多模态大模型在多轮对话中因初始错误累积导致幻觉雪崩的问题，提出首个细粒度诊断基准MM-Snowball，并设计无训练的冲突感知视觉校正方法CAVR，通过表示级刷新视觉锚定和logit级修正输出分布来缓解雪崩效应。

Comments Accepted by The International Conference on Machine Learning (ICML 2026)

Construction of Historical Knowledge Graphs Based on BERT and Graph Neural Networks

基于BERT和图神经网络的历史知识图谱构建

Ping Li, Bartlomiej Brzozka

机构 * Shandong Management University（山东管理大学） ； Maria Curie-Sklodowska University（玛丽·居里-斯洛多夫斯卡大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出结合BERT和图神经网络的高层架构，从历史文本中提取实体和关系，构建知识图谱，在精度、召回率和F1分数上优于传统方法和深度学习基线。

Comments 9 pages, 4 figures