语言大模型 / LLM

Mechanistic Interpretability of Antibody Language Models Using SAEs

使用 SAE 对抗体语言模型的机制可解释性研究

Rebonto Haque, Oliver M. Turnbull, Anisha Parsan, Nithin Parsan, John J. Yang, Anna L. Beukenhorst, Charlotte M. Deane

机构 * Department of Statistics, University of Oxford, UK（英国牛津大学统计系） ； Reticular, San Francisco, USA（美国旧金山Reticular公司） ； EECS, MIT, Cambridge MA, USA（美国麻省理工学院电子工程与计算机科学系） ； Leyden Laboratories BV, Leiden, The Netherlands（荷兰莱顿实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究采用 TopK 和 Ordered 稀疏自编码器（SAE）对抗体语言模型进行机制可解释性分析，发现 TopK SAE 能揭示有意义的生物学潜在特征但无法保证生成控制，而 Ordered SAE 通过层次结构可靠识别可操控特征但激活模式更复杂。

Comments v3: 15 pages; corrected author list and affiliations in the main text; minor text changes; updated steering results following minor code changes; conclusions and findings remain unchanged; included link to data and code in the Data Availability section

Left-Right Symmetry Breaking in CLIP-style Vision-Language Models Trained on Synthetic Spatial-Relation Data

CLIP风格视觉语言模型在合成空间关系数据训练中的左右对称性破缺

Takaki Yamamoto, Chihiro Noguchi, Toshihiro Tanizawa

机构 * InfoTech, Toyota Motor Corporation（丰田汽车公司信息科技部门） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过可控一维图像文本测试平台，研究基于Transformer的视觉语言编码器在CLIP风格对比学习下如何通过位置与标记嵌入交互产生左右关系理解，并发现标签多样性比布局多样性更关键。

Comments Accepted at ICML 2026

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents

QUACK: 多模态社交推理智能体中的沟通知识质疑、理解与审计

Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； University of Cambridge（剑桥大学） ； MBZUAI - Mohamed bin Zayed University of Artificial Intelligence（MBZUAI - 摩苏尔·本·扎耶德人工智能大学） ； University of Toronto（多伦多大学） ； Salesforce 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出QUACK框架，通过游戏结果、行为轨迹和话语一致性三级评估，自动审计多模态社交推理智能体语言与感知行为的一致性，发现最强智能体仍有15.1%的空间幻觉和过半无据指控。

Leveraging Visual Signals for Robust Token-Level Uncertainty in Vision-Language Generation

利用视觉信号实现视觉-语言生成中鲁棒的词元级不确定性

Joseph Hoche, David Brellmann, Gianni Franchi

机构 * AMIAD, Pôle Recherche, Palaiseau（AMIAD研究部，帕莱索） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 针对大型视觉语言模型不确定性量化中视觉信息利用不足的问题，提出基于视觉锚定的词元级不确定性量化框架VIG-TUQ，通过加权语言不确定性与视觉锚定分数，无需训练即可提升不确定性估计性能。

Where Does Authorship Signal Emerge in Encoder-Based Language Models?

作者身份信号在基于编码器的语言模型中出现在哪里？

Francis Kulumba, Guillaume Vimont, Laurent Romary, Florian Cafiero

机构 * Inria Paris（巴黎国家信息与自动化研究所） ； Sorbonne Université（索邦大学） ； IRIF（IRIF研究所） ； LRE, EPITA Ecole nationale des chartes – PSL（LRE，EPITA国立档案馆 – 法国社会科学研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL

AI总结 通过机械可解释性工具，研究不同评分机制对基于编码器的作者身份归因模型性能的影响，发现评分机制决定了编码器在何处整合作者身份信号。

Comments 12 pages, 6 figures. Under review

Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations

为什么LLMs会在结构化知识上产生幻觉：对线性化表示推理的机制分析

Shanghao Li, Jinda Han, Yibo Wang, Yuanjie Zhu, Zihe Song, Langzhou He, Kenan Kamel A Alghythee, Philip S. Yu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过机制分析发现，大型语言模型在结构化知识推理中产生幻觉是由于注意力过度集中于捷径式结构线索和前馈层未能将知识语义接地，导致模型依赖参数记忆。

Comments To appear in Proceedings of ACL 2026

Furina: Fragmented Uncertainty-Driven Refusal Instability Attack

Furina: 碎片化不确定性驱动的拒绝不稳定攻击

Tongxi Wu, Jian Zhang, Yang Gao

机构 * School of Intelligence Science and Technology（智能科学与技术学院） ； State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； Nanjing University（南京大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过揭示大语言模型安全行为存在不稳定区域，提出多指标诊断框架并开发Furina攻击方法，利用碎片化场景提示诱导不确定性放大，实现高效越狱。

Comments This work is accepted as a regular paper at ICML 2026

UCPO: Uncertainty-Aware Policy Optimization

UCPO：不确定性感知策略优化

Xianzhou Zeng, Jing Huang, Chunmei Xie, Gongrui Nan, Siye Chen, Mengyu Lu, Weiqi Xiong, Qixuan Zhou, Junhao Zhang, Qiang Zhu, Yadong Li, Xingzhong Xu

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有强化学习范式在不确定性奖励下存在的优势偏差和过度自信问题，提出三元优势解耦和动态不确定性奖励调整机制，显著提升模型在知识边界外的可靠性。

Comments Accepted by ICML 2026

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers

解析多模态上下文学习：现代Transformer中的模态不对称性与电路动力学

Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； DeepMind（深Mind） ； Beijing University of Posts（北京邮电大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过可控实验，研究现代Transformer中多模态上下文学习的基本机制，发现模态间学习不对称性，并揭示其背后的归纳式电路机制。

Comments ICML 2026 Spotlight

Probing Cultural Awareness in LLMs: A Case Study of Cross-Culture Aesthetic Stylistics

探究大型语言模型的文化意识：跨文化美学文体学案例研究

Jiashuo Wang, Fenggang Yu, Jian Wang, Chak Tou Leong, Xiaoyu Shen, Chunpu Xu, Jiawen Duan, Wenjie Li, Johan F. Hoorn

机构 * Department of Computing, Hong Kong Polytechnic University（香港理工大学计算机系） ； Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波东部技术研究所数字孪生研究所） ； Department of Language Science and Technology, Hong Kong Polytechnic University（香港理工大学语言科学与技术系） ； School of Design, Hong Kong Polytechnic University（香港理工大学设计学院） ； Research Institute for Quantum Technology, Hong Kong Polytechnic University（香港理工大学量子技术研究所） ； Department of Communication Science, Vrije Universiteit Amsterdam（阿姆斯特丹自由大学传播科学系） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过构建C4STYLI基准（包含香港和中国大陆的高度风格化翻译电影片名和广告标语），评估大型语言模型在跨文化美学文体识别和生成方面的能力，发现模型依赖表层语言信息而非风格结构，对香港特定风格结构敏感度有限。

Comments IJCAI 2026 Human-Centred AI track

LEC: Linear Expectation Constraints for Selection-Conditioned Risk Control in Selective Prediction and Routing Systems

LEC: 选择性预测与路由系统中基于选择条件风险控制的线性期望约束

Zhiyuan Wang, Aniri, Tianlong Chen, Yue Zhang, Heng Tao Shen, Xiaoshuang Shi, Kaidi Xu

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Shandong University（山东大学） ； Tongji University（同济大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出LEC框架，通过线性期望约束将选择性预测转化为决策问题，在可交换性假设下利用校准集计算风险约束下的保留最大化阈值，并扩展到双模型路由系统，实现选择条件误差控制。

Comments Accepted by ICML 2026 Regular

BioFact-MoE: Biologically Factorized Mixture of Experts for Vision-Language Prognostic Modeling in Hepatocellular Carcinoma

BioFact-MoE：基于生物学因子分解的混合专家模型用于肝细胞癌的视觉-语言预后建模

Junlin Yang, Tian Yu, Nicha C. Dvornek, Yuexi Du, Peiyu Duan, Annabella Shewarega, Lawrence H. Staib, James S. Duncan, Julius Chapiro

机构 * Department of Radiology \& Biomedical Imaging, Department of Biomedical Engineering, Department of Electrical Engineering, Department of Statistics \& Data Science Yale University, New Haven, CT, 06510, USA 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出BioFact-MoE框架，通过生物学监督的混合专家模型显式分解肝脏和肿瘤因子，在肝细胞癌预后预测中提升准确性和生物学可解释性。

Comments Early accepted at MICCAI 2026

Helicase: Uncertainty-Guided Supply Chain Knowledge Graph Construction with Autonomous Multi-Agent LLMs

Helicase: 不确定性引导的供应链知识图谱构建与自主多智能体大语言模型

Yunbo Long, Haolang Zhao, Ge Zheng, Alexandra Brintrup

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI

AI总结 提出Helicase，一种基于多智能体大语言模型的自主系统，通过不确定性引导的迭代验证和知识图谱构建，解决供应链中需要多跳推理的结构化推断问题，并引入SCQA基准评估。

Atom-level Protein Representation Learning Improves Protein Structure Prediction

原子级蛋白质表示学习改进蛋白质结构预测

Taewon Kim, Hyosoon Jang, Hyunjin Seo, Seonghwan Seo, Hyeongwoo Kim, Wonho Zhung, Mingyeong Shin, Wooyoun Kim, Sungsoo Ahn

机构 * KAIST（韩国科学技术院） 纠错

专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI

AI总结 提出结构感知预训练方法TriProRep，通过VQ-VAE联合建模三种对齐的残基级视图，在结构预测任务中优于仅序列和先前结构感知表示模型。

Comments Project Page: https://holymollyhao.github.io/TriProRep/

TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving

TPS-Drive: 基于VLM的自动驾驶任务引导表示净化

Jiaxiang Li, Yumao Liu, Ke Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 提出TPS-Drive框架，通过任务引导的表示净化（Agent-Centric Tokenizer）解决VLM在自动驾驶中的空间幻觉和表示干扰问题，实现精确的3D空间预测与安全规划。

Uncertainty-aware Machine Learning Interatomic Potentials via Learned Functional Perturbations

通过学习功能扰动实现不确定性感知的机器学习原子间势

Olga Zaghen, Maksim Zhdanov, Dario Coscia, David R. Wessels, Erik J. Bekkers

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 提出通过学习功能扰动将确定性MLIP转化为概率模型，并用连续排序概率分数（CRPS）端到端微调，以高效量化不确定性，在带电粒子基准和二氧化硅上分别比现有贝叶斯方法BLIP提升CRPS 19-32%和Spearman相关系数从0.75到0.84。

Agreement Between Large Language Models and Human Raters in Essay Scoring: A Research Synthesis

大型语言模型与人类评分者在论文评分中的一致性：一项研究综合

Hongli Li, Che Han Chen, Kevin Fan, Chiho Young-Johnson, Soyoung Lim, Yali Feng

机构 * Department of Educational Policy Studies, Georgia State University（乔治亚州立大学教育政策研究系） 纠错

专题命中 其他LLM ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 通过综合65项研究，发现大型语言模型与人类评分者在论文评分中的一致性高度依赖上下文，且跨研究及研究内部差异显著。

Strategies for Guiding LLMs to Use Software Design Patterns: A Case of Singleton

引导LLM使用软件设计模式的策略：以单例模式为例

Viktor Kjellberg, Farnaz Fotrousi, Miroslaw Staron

机构 * University of Gothenburg and Chalmers University of Technology（哥德堡大学和查尔姆斯理工大学） 纠错

专题命中 其他LLM ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过实验比较四种提示策略（指令、二元自动反馈、详细自动反馈、少样本详细反馈），评估13个LLM在164个Java编码挑战中生成遵循单例模式的代码的能力，发现迭代二元反馈在保持或提升功能性的同时最佳地实现了单例模式对齐。

Comments Accepted at PROMISE 2026

Multi-Stakeholder LLM Alignment: Decomposing Estimation from Aggregation

多方利益相关者LLM对齐：从聚合中分解估计

Lulu Zheng, Wenjin Yang, Xiangwen Zhang, Rong Yin, Yulan Hu, Zheng Pan, Xin Li

机构 * AMAP, Alibaba Group（阿里集团AMAP） ； Beihang University（北京航空航天大学） 纠错

专题命中 其他LLM ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对多方利益相关者任务中用户偏好冲突的问题，提出DecompR方法，通过反事实校准权重固定查询结构，独立估计角色效用，消除候选依赖的权重漂移并降低估计噪声。

Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training

Extra-Merge：追踪语言模型预训练中模型合并的秩-1子空间

Wenjie Zhou, Bohan Wang, Hongtao Zhang, Chenxi Jia, Wei Chen, Xueqi Cheng

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学先进交叉学科学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, China（中国科学院人工智能安全国家重点实验室） ； University of Chinese Academy of Sciences, China（中国科学院大学） ； Alibaba Group, China（阿里巴巴集团） ； School of Mathematics, Southeast University, Nanjing, China（东南大学数学学院） 纠错

专题命中 其他LLM ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文通过分析预训练后期轨迹发现秩-1子空间现象，提出无需额外训练的Extra-Merge方法，沿该子空间外推以最小化损失，在GPT-2和LLaMA系列上优于标准合并基线。

MuCon: Clipped Muon Updates for LLM Training

MuCon: 用于LLM训练的裁剪Muon更新

Albert Yi

机构 * Albert Yi（阿尔伯特·伊） 纠错

专题命中 其他LLM ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出MuCon优化器，通过奇异值裁剪替代Muon的极分解方向，并研究其近似计算与数值稳定性。

In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

检索增强生成的上下文优化：梯度下降视角

Mingchen Li, Jiatan Huang, Chuxu Zhang, Liang Zhao, Hong Yu

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； University of Connecticut（康涅狄格大学） ； Emory University（埃默里大学） 纠错

专题命中 其他LLM ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文从梯度下降视角研究检索增强生成（RAG）作为上下文优化过程，提出一种轻量级前向更新方法，在冻结LLM和检索器的情况下提升生成器对检索证据的利用。

Persona Generators: Generating Diverse Synthetic Personas for Arbitrary Contexts

人格生成器：为任意上下文生成多样化的合成人格

Davide Paglieri, Logan Cross, William A. Cunningham, Joel Z. Leibo, Alexander Sasha Vezhnevets

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 其他LLM ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Persona Generators，通过迭代进化优化生成覆盖广泛意见和偏好的多样化合成人格，在六个多样性指标上显著优于现有基线。

AlignEvoSkill: Towards Knowledge-Aware and Task-Aligned Agent Skill Evolution

AlignEvoSkill: 迈向知识感知与任务对齐的智能体技能进化

Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che, Yang Deng

机构 * Singapore Management University（新加坡国立大学） 纠错

专题命中 其他LLM ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出AlignEvoSkill框架，通过联合建模知识覆盖和任务对齐，从失败轨迹中识别知识标签、检索并适配候选技能，再基于知识覆盖和任务对齐分数筛选高质量技能，在3个基准和4个LLM骨干上相对提升34.7%，实现技能进化新SOTA且成本更低。

FoundObj: Self-supervised Foundation Models as Rewards for Label-free 3D Object Segmentation

FoundObj: 自监督基础模型作为无标签3D物体分割的奖励

Zihui Zhang, Zhixuan Sun, Yafei Yang, Jinxi Li, Jiahao Chen, Bo Yang

机构 * Shenzhen Research Institute, The Hong Kong Polytechnic University（深圳研究院，香港理工大学） ； vLAR Group, The Hong Kong Polytechnic University（vLAR小组，香港理工大学） 纠错

专题命中 其他LLM ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出FoundObj框架，利用自监督2D/3D基础模型的语义和几何先验作为奖励，通过强化学习引导超点合并，实现无标注复杂场景3D物体分割。

Comments ICML 2026. Zihui and Zhixuan are co-first authors. Code and data are available at: https://github.com/vLAR-group/FoundObj

Exploring Agent Interactions in MoltBook through Social Network Analysis

通过社交网络分析探索MoltBook中的智能体交互

I-Hsien Ting, Kazunori Minetaki, Dario Liberona, Mu-En Wu

专题命中 其他LLM ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出一个多维分析框架，结合社交网络分析、情感分析和主题可视化，解码MoltBook平台中基于大语言模型的智能体之间的交互语义和情感，并聚焦于智能体原生通信的内在机制。

PinPoint: Prompting with Informative Interior Points

PinPoint: 通过信息性内部点进行提示

Pouya Sadeghi, Shawn He, Pedro Pablo Guerrero Vela, C. Thomas, Alex Wong, Sirisha Rambhatla

机构 * University of Waterloo（滑铁卢大学） ； Critical ML ； Apple（苹果公司） 纠错

专题命中 其他LLM ：prompting(title)；language model(abstract)；分类 cs.CL

AI总结 针对指代图像分割中VLM与SAM结合时因提示模糊导致的性能差距，提出无需训练的确定性点选择器PinPoint，通过融合视觉线索选择稳定、信息丰富的内部点，在无训练下达到监督和强化学习方法的性能。

Unveiling the Fragility of Vision-Language Models: Multi-Modal Adversarial Synergy via Texture-Constrained Perturbations and Cross-Modal Optimization

揭示视觉-语言模型的脆弱性：通过纹理约束扰动和跨模态优化的多模态对抗协同

Xiang Fang, Wanlong Fang, Changshuo Wang

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.AI

AI总结 提出多模态对抗协同框架，通过纹理约束的通用对抗扰动和可学习的文本提示扰动，在黑盒设置下联合优化，揭示视觉-语言模型在多模态攻击下的脆弱性。

Comments Publish in AAAI 2026

Adversarial Water-Filling: Theory, Algorithms and Foundation Model

对抗性注水：理论、算法与基础模型

Xindi Tong, Chee Wei Tan, H. Vincent Poor

机构 * College of Computing and Data Science (CCDS), Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院（CCDS），新加坡） ； Princeton University, United States（普林斯顿大学，美国） 纠错

专题命中 其他LLM ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对频率和空间上的竞争资源分配问题，提出对抗性注水（AWF）问题及其理论和算法，并开发无线基础模型学习AWF搜索动力学，实现超过一个数量级的运行时间改进。

Comments Submitted to IEEE Journal of Selected Topics in Signal Processing

The Kalman Evolve: Closing the Gap in Kalman Filtering via Interpretable Algorithm Discovery

卡尔曼演化：通过可解释算法发现缩小卡尔曼滤波的差距

Vasileios Saketos, Ming Xiao

机构 * KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 其他LLM ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对非线性传感场景下卡尔曼滤波性能下降的问题，提出Kalman Evolve框架，联合优化噪声参数与更新结构，利用大语言模型生成可解释的非仿射修改，在多个基准上实现高达12%的RMSE降低。