语言大模型 / LLM

Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path

电路指纹：答案标记如何编码其几何路径

Andres Saurez, Neha Sengar, Dongsoo Har

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.CL、cs.LG

AI总结 通过几何对齐实现电路发现，揭示transformer电路本质上是几何结构，实现可控引导并提升情感分类准确率。

Comments Submitted to ICML 2026. 15 pages, 11 figures

Agentic Uncertainty Reveals Agentic Overconfidence

代理不确定性揭示代理过度自信

Jean Kaddour, Srijan Patel, Gbètondji Dovonon, Leo Richter, Pasquale Minervini, Matt J. Kusner

机构 * University College London（伦敦大学学院） ； University of Edinburgh（爱丁堡大学） ； Mila - Québec AI Institute（魁北克AI研究所） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现AI代理在任务执行前后对自身成功率的预测存在过度自信，且执行前的低信息评估比执行后的回顾更有效，对抗性提示能提高预测准确性。

The Representational Geometry of Number

数字的表征几何

Zhimin Hu, Lanhao Niu, Sashank Varma

机构 * Georgia Tech（佐治亚理工学院） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过语言模型探讨数字表征的几何结构，发现任务特定表征可通过线性映射在不同子空间间转换，揭示了共享结构与功能灵活性的平衡机制。

Refine and Purify: Orthogonal Basis Optimization with Null-Space Denoising for Conditional Representation Learning

细化与净化：基于空域去噪的正交基优化用于条件表示学习

Jiaquan Wang, Yan Lyu, Chen Li, Yuheng Jia

机构 * School of Computer Science and Engineering, Southeast University, China（计算机科学与工程学院，东南大学） ； Biomedicine Discovery Institute, Department of Biochemistry and Molecular Biology, Monash University, Australia（生物医学发现研究所，墨尔本大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 OD-CRL通过正交基优化和空域去噪技术提升条件表示学习的性能，实现更稳健的特征提取与泛化能力。

Discovering Mechanistic Models of Neural Activity: System Identification in an in Silico Zebrafish

发现神经活动的机理模型：在虚拟斑马鱼中的系统识别

Jan-Matthis Lueckmann, Viren Jain, Michał Januszewski

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过虚拟斑马鱼实验，利用大语言模型树搜索发现神经活动的预测模型，证明结构先验对机理模型发现的重要性。

RAPTOR: Ridge-Adaptive Logistic Probes

RAPTOR：岭适应逻辑探针

Ziqi Gao, Yaotian Zhu, Qingcheng Zeng, Xu Zhao, Ziqing Wang, Feng Ruan, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 RAPTOR通过岭适应逻辑探针在LLM层表示中提取准确且稳定的概念向量，提升模型理解和引导性能。

Comments Preprint

ConceptCaps: a Distilled Concept Dataset for Interpretability in Music Models

ConceptCaps：用于音乐模型可解释性的精简概念数据集

Bruno Sienkiewicz, Łukasz Neumann, Mateusz Modrzejewski

机构 * Institute of Computer Science, Warsaw University of Technology（华沙技术大学计算机科学研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 ConceptCaps通过分离语义建模与文本生成，提供一个包含21,000个音乐-标签三元组的数据集，用于提升音乐模型的可解释性。

Scaled Dot-Product Attention implements projection of inputs onto a common surface

缩放点积注意力实现了对输入向量在共同表面上的投影

Terence D Sanger

机构 * Department of Electrical Engineering and Computer Science（电气工程与计算机科学系） ； University of California, Irvine（加州大学伊文斯顿分校） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SDPA可重写为输入向量在共同表面的投影，揭示其在时间依赖性上下文中的作用，为非线性时间序列处理提供新视角。

MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs

MEMOIR: LLMs的终身模型编辑与最小覆盖与有意识保留

Ke Wang, Yiming Qin, Nikolaos Dimitriadis, Alessandro Favero, Pascal Frossard

机构 * EPFL（苏黎世联邦理工学院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 MEMOIR通过残差记忆模块实现LLM的终身模型编辑，高效处理连续编辑任务，保持模型核心能力并减少遗忘。

Comments The first two authors contributed equally to this work; Accepted to NeurIPS 2025

How does a Multilingual LM Handle Multiple Languages?

多语言语言模型如何处理多种语言？

Santhosh Kakarla, Gautama Shastry Bulusu Venkata, Aishwarya Gaddam, Maheedhar Sai Omtri Mohan

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过分析多语言模型在多语言理解、语义表示和跨语言知识转移中的表现，揭示其在处理高资源与低资源语言时的优劣，旨在提升多语言NLP模型的包容性。

Comments 10 pages, 8 figures

CAOS: Conformal Aggregation of One-Shot Predictors

CAOS：一次性预测预测器的符合性聚合

Maja Waldron

机构 * Department of Statistics, University of Wisconsin-Madison, USA（统计学系，威斯康星大学麦迪逊分校） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 CAOS通过自适应聚合多个一次性预测器，利用留一校准方案实现有效覆盖，比传统方法在预测集大小上更小且保持可靠覆盖。

Mechanistic evaluation of Transformers and state space models

Transformer 与状态空间模型的机制性评估

Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csordás, Dan Jurafsky, Christopher Potts

机构 * Stanford University（斯坦福大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过实验发现Transformer和基于SSM的模型在联想回忆任务中表现优异，而其他SSM模型表现不佳，揭示了不同架构在归纳学习机制上的差异。

Comments 9 page main text, 22 pages total

IBNorm: Information-Bottleneck Inspired Normalization for Representation Learning

IBNorm: 信息瓶颈启发的表示学习规范化方法

Xiandong Zou, Jia Li, Xiaotong Yuan, Pan Zhou

机构 * Singapore Management University（新加坡管理大学） ； Beijing Normal University（北京师范大学） ； Nanjing University（南京大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 IBNorm基于信息瓶颈原理，通过有界压缩操作提升表示学习的信息量和稳定性，实验表明其在多种模型中优于传统规范化方法。

Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds

隐含物体恒存：深度变换器流形中的拓扑相变、自由能原理与重整化群流

Faruk Alpay, Bugra Kilictas

机构 * Department of Computer Engineering, Bahçeşehir University（计算机工程系，巴切谢希尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究深度变换器模型中多步推理的隐含物体恒存现象，通过拓扑相变和重整化群流揭示低熵区域的形成机制。

Comments 12 pages, 3 figures

Segment Length Matters: A Study of Segment Lengths on Audio Fingerprinting Performance

片段长度至关重要：对音频指纹识别性能中片段长度的研究

Ziling Gong, Yunyan Ouyang, Iram Kamdar, Melody Ma, Hongjie Chen, Franck Dernoncourt, Ryan A. Rossi, Nesreen K. Ahmed

机构 * Data Science Institute Columbia University（数据科学研究所 哥伦比亚大学） ； Dolby Laboratories（杜比实验室） ； Adobe Research（Adobe研究） ； Cisco Research（思科研究） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了片段长度对音频指纹识别性能的影响，发现短片段长度（0.5秒）表现更优，并评估了大语言模型推荐最佳片段长度的能力。

Unified Multimodal Interleaved Document Representation for Retrieval

统一多模态交错文档表示用于检索

Jaewoo Lee, Joonho Ko, Jinheon Baek, Soyeong Jeong, Sung Ju Hwang

机构 * University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校） ； KAIST（韩国科学技术院） ； DeepAuto 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出统一多模态交错文档表示方法，通过整合文本、图像和表格信息提升信息检索性能。

Comments EACL Findings 2026

Multi-Stage Verification-Centric Framework for Mitigating Hallucination in Multi-Modal RAG

多阶段验证导向框架用于缓解多模态RAG中的幻觉

Baiyu Chen, Wilson Wongso, Xiaoqian Hu, Yue Tan, Flora Salim

机构 * The University of New South Wales（新南威尔士大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种多阶段验证导向框架，通过优先考虑事实准确性和真实性来缓解多模态RAG中的幻觉问题，并在KDD Cup 2025中取得第三名。

Comments KDD Cup 2025 Meta CRAG-MM Challenge: Third Prize in the Single-Source Augmentation Task

Tug-of-war between idioms' figurative and literal interpretations in LLMs

在LLMs中习语的比喻和字面解释之间的拉力战

Soyoung Oh, Xinting Huang, Mathis Pink, Michael Hahn, Vera Demberg

机构 * Saarland University（萨尔兰大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； Max Planck Institute for Informatics（马克斯·普朗克信息学研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了LLMs在处理习语时比喻与字面解释的冲突机制，通过因果追溯法揭示了模型如何在不同层之间竞争性地处理歧义。

Head Pursuit: Probing Attention Specialization in Multimodal Transformers

头部追踪：探究多模态转换器中的注意力专业化

Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

机构 * Area Science Park（面积科学公园） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； Institute of Science and Technology（科学与技术研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过分析多模态转换器中注意力头的专业化，揭示了模型内部可控的结构，并展示了通过编辑少量头部以增强或抑制特定概念的可行性。

Comments Accepted at NeurIPS 2025 (spotlight)

Quiet Feature Learning in Algorithmic Tasks

算法任务中的安静特征学习

Prudhviraj Naidu, Zixian Wang, Leon Bergen, Ramamohan Paturi

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现，在算法任务中，模型在损失曲线平坦区域学习了对任务性能至关重要的中间特征，挑战了传统损失作为学习代理的假设。

Comments Accepted as Oral presentation @ AAAI 2026 Special Track on AI Alignment

Rep3Net: An Approach Exploiting Multimodal Representation for Molecular Bioactivity Prediction

Rep3Net：一种利用多模态表示进行分子生物活性预测的方法

Sabrina Islam, Md. Atiqur Rahman, Md. Bakhtiar Hasan, Md. Hasanul Kabir

机构 * Computer Science and Engineering, Islamic University of Technology, Bangladesh（计算机科学与工程，伊斯兰技术大学，孟加拉国） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 Rep3Net通过融合分子描述符、图特征和SMILES嵌入，提升了PARP1生物活性预测的准确性，并在药物发现中展示了高效能的多模态方法。

LLMs Enable Bag-of-Texts Representations for Short-Text Clustering

基于大语言模型的文本袋表示用于短文本聚类

I-Fan Lin, Faegheh Hasibi, Suzan Verberne

机构 * Leiden University（莱顿大学） ； Radboud University（拉德堡德大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种无需训练的短文本聚类方法，利用大语言模型直接生成文本袋表示，实现高效且灵活的聚类效果。

Tone Matters: The Impact of Linguistic Tone on Hallucination in VLMs

语气至关重要：语言语气对VLMs幻觉影响的研究

Weihao Hong, Zhiyuan Jiang, Bingyu Shen, Xinlei Guan, Yangyi Feng, Meng Xu, Boyang Li

机构 * Department of Computer Science and Technology, Kean University（计算机科学与技术系，凯恩大学） ； Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，圣母大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了提示语气对VLMs幻觉的影响，通过Ghost-100数据集发现幻觉率与提示强度非线性相关，揭示模型在处理结构性强制时的局限性。

Comments 10 pages, 6 figures, WACV Workshop

TDHook: A Lightweight Framework for Interpretability

TDHook：一个轻量级的可解释性框架

Yoann Poupart

机构 * LIP6（LIP6实验室） ； Sorbonne University（索邦大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 TDHook是一个轻量级的可解释性框架，旨在通过处理复杂组合模型和提供灵活的API，提升现代可解释性流水线的易用性。

Transformer Is Inherently a Causal Learner

Transformer本质上是一种因果学习者

Xinyue Wang, Stephen Wang, Biwei Huang

机构 * Halıcıoğlu Data Science Institute（哈利奇奥格鲁数据科学研究所） ； University of California San Diego（加州大学圣地亚哥分校） ； ABEL Intelligence, Inc.（ABEL智能公司） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文证明Transformer通过自回归训练自然编码因果结构，无需显式因果目标即可恢复因果图，且在复杂场景中表现优于传统方法。

In Search of Grandmother Cells: Tracing Interpretable Neurons in Tabular Representations

寻找祖母细胞：在表格表示中追踪可解释的神经元

Ricardo Knauer, Erik Rodner

机构 * KI-Werkstatt University of Applied Sciences Berlin（KI-Werkstatt应用科学大学柏林） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出两种信息论度量，用于量化神经元对单一概念的显著性和选择性，并在表格基础模型TabPFN中发现部分神经元对高层概念具有统计显著的显著性。

Comments EurIPS 2025 Workshop on AI for Tabular Data

Attention mechanisms in neural networks

神经网络中的注意机制

Hasi Hays

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统阐述了神经网络中注意机制的理论基础、计算特性及应用，涵盖自然语言处理、计算机视觉和多模态学习等多个领域，分析了其可解释性及当前存在的限制。

RAL2M: Retrieval Augmented Learning-To-Match Against Hallucination in Compliance-Guaranteed Service Systems

RAL2M：检索增强的学习-匹配以对抗幻觉在合规保障服务系统中

Mengze Hong, Di Jiang, Jiangtao Wen, Zhiyang Su, Yawen Li, Yanjie Sun, Guan Wang, Chen Jason Zhang

机构 * Hong Kong Polytechnic University（香港理工大学） ； New York University Shanghai（纽约大学上海分校） ； Hong Kong University of Science and Technology（香港科技大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 RAL2M通过检索增强的学习-匹配框架，利用众智消除生成幻觉，提升合规保障服务系统的响应可靠性。

Compositional Discrete Latent Code for High Fidelity, Productive Diffusion Models

组合式离散潜在代码用于高保真、高效的扩散模型

Samuel Lavoie, Michael Noukhovitch, Aaron Courville

机构 * Mila, Université de Montréal（蒙特利尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出离散潜在代码（DLC）以提升扩散模型的生成保真度，通过组合性实现分布外样本生成，并展示其在图像生成和文本到图像生成中的应用。

Comments Published at NeurIPS, 22 pages, 7 tables, 12 figures, code and models available

Bright 4B: Scaling Hyperspherical Learning for Segmentation in 3D Brightfield Microscopy

Bright 4B: 通过超球面学习实现3D明场显微镜中分割的扩展

Amil Khan, Matheus Palhares Viana, Suraj Mishra, B. S. Manjunath

机构 * UC Santa Barbara（UC圣芭芭拉大学） ； Allen Institute for Cell Sciences（细胞科学研究院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 Bright-4B通过超球面学习实现3D明场显微镜中无需荧光的亚细胞结构分割，提供高精度的细胞形态分割方法。

Comments 20 pages, 15 figures