语言大模型 / LLM

CLMN: Concept based Language Models via Neural Symbolic Reasoning

基于神经符号推理的概念语言模型：CLMN

Yibo Yang

机构 * College of Science, The Hong Kong University of Science and Technology（香港科技大学理学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 CLMN通过神经符号推理方法，在保持性能的同时提升NLP的可解释性，通过连续嵌入和模糊逻辑推理学习概念交互规则，提升医疗和金融等领域的文本处理效果。

Comments 7 pages, 2 figures

SOM Directions are Better than One: Multi-Directional Refusal Suppression in Language Models

SOM方向优于单一方向：语言模型中的多方向拒绝抑制

Giorgio Piras, Raffaele Mura, Fabio Brau, Luca Oneto, Fabio Roli, Battista Biggio

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用自组织映射(SOM)提取多方向拒绝特征，通过分析有害提示表示与无害提示表示的差异，验证了多方向抑制方法在提升模型安全性和拒绝能力上的有效性。

Comments Accepted at AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 2026

FoMo X: Modular Explainability Signals for Outlier Detection Foundation Models

FoMo X：用于异常检测基础模型的模块化可解释性信号

Simon Klüttermann, Tim Katzke, Phuong Huong Nguyen, Emmanuel Müller

机构 * TU Dortmund University, Dortmund, Germany（图卢兹大学（德累斯顿）） ； Research Center Trustworthy Data Science and Security, University Alliance Ruhr, Dortmund, Germany（可信数据科学与安全研究中心，鲁尔大学联盟，德累斯顿，德国） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 FoMo-X通过模块化框架为异常检测基础模型提供内在轻量级诊断能力，利用预训练PFN背骨的冻结嵌入编码丰富关系信息，通过附加诊断头实现高效可解释性，实验证明其在合成和真实世界基准上具有高保真度和低推理开销。

Comments 24 pages, 9 figures

Beyond AlphaEarth: Toward Human-Centered Geospatial Foundation Models via POI-Guided Contrastive Learning

超越AlphaEarth：通过POI引导对比学习实现以人为中心的地理空间基础模型

Junyuan Liu, Quan Qin, Guangsheng Dong, Xinglei Wang, Jiazhuang Feng, Zichao Zeng, Tao Cheng

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AETHER框架，通过POI引导的多模态对齐，将AlphaEarth与以人为中心的城市分析结合，提升地理空间表示的可解释性与语言可访问性。

Uni-NTFM: A Unified Foundation Model for EEG Signal Representation Learning

Uni-NTFM：一种用于EEG信号表示学习的统一基础模型

Zhisheng Chen, Yingwei Zhang, Qizhen Lan, Tianyu Liu, Huacan Wang, Yi Ding, Ziyu Jia, Ronghao Chen, Kun Wang, Xinliang Zhou

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Uni-NTFM通过融合神经科学原理，提出了一种统一的基础模型，用于EEG信号表示学习，实现了高容量和高效的功能模块化，优于现有模型。

Comments Published as a conference paper at ICLR 2026

GLUScope: A Tool for Analyzing GLU Neurons in Transformer Language Models

GLUScope：一种用于分析Transformer语言模型中GLU神经元的工具

Sebastian Gerstner, Hinrich Schütze

机构 * LMU Munich and Munich Center for Machine Learning (MCML)（慕尼黑大学和慕尼黑机器学习中心） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 GLUScope是一种用于分析Transformer语言模型中GLU神经元符号组合的开源工具，通过展示不同符号组合的文本示例和出现频率，帮助研究人员获得新的可解释性洞察。

Comments 6 pages for main body, 9 pages in total. 4 figures

NoLan: Mitigating Object Hallucinations in Large Vision-Language Models via Dynamic Suppression of Language Priors

NoLan: 通过动态抑制语言先验来缓解大视觉-语言模型中的对象幻觉

Lingfeng Ren, Weihao Yu, Runpeng Yu, Xinchao Wang

机构 * National University of Singapore, Singapore（新加坡国立大学） ； Peking University Shenzhen Graduate School, China（北京大学深圳研究生院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 NoLan通过动态抑制语言先验缓解大视觉-语言模型中的对象幻觉问题，有效提升模型准确性。

Comments Code: https://github.com/lingfengren/NoLan

Quantifying LLM Attention-Head Stability: Implications for Circuit Universality

量化大语言模型注意力头的稳定性：对电路通用性的启示

Karan Bali, Jack Stanley, Praneet Suresh, Danilo Bzdok

机构 * Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究量化了大语言模型注意力头的稳定性，发现中层头最不稳定但表示最独特，深层模型中层分歧更明显，权重衰减优化提升稳定性，残差流较稳定，为AI系统白盒监控提供新视角。

Comments Main Body: 8 pages, Total length: 33 pages, Code repo: https://github.com/karanbali/attention_head_seed_stability , Weights repo: https://huggingface.co/karanbali/attention_head_seed_stability

Evolution of Concepts in Language Model Pre-Training

语言模型预训练中概念的演变

Xuyang Ge, Wentao Shu, Jiaxing Wu, Yunhua Zhou, Zhengfu He, Xipeng Qiu

机构 * OpenMOSS Team, Shanghai Innovation Institute（开放MOSS团队、上海创新研究院） ； Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过crosscoders方法研究语言模型预训练中特征演变，揭示特征形成与下游性能的因果关系，并发现统计学习与特征学习两个阶段。

Comments 35 pages, 35 figures. Accepted to ICLR 2026

Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models

专精于泛化：关于基础模型中测试时训练的理解

Jonas Hübotter, Patrik Wolf, Alexander Shevchenko, Dennis Jüni, Andreas Krause, Gil Kur

机构 * ETH Zürich（苏黎世联邦理工学院） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基础模型在测试时训练通过专精于泛化以提升性能，通过实验验证了这一机制在分布内任务中的有效性。

Comments ICLR 2026 Oral at CCFM @ NeurIPS 2025

PA-MIL: Phenotype-Aware Multiple Instance Learning Guided by Language Prompting and Genotype-to-Phenotype Relationships

PA-MIL：基于语言提示和基因型-表型关系的表型感知多实例学习

Zekang Yang, Hong Liu, Xiangdong Wang

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 知识编辑与模型理解 ：prompting(title,abstract)；分类 cs.AI、cs.LG

AI总结 PA-MIL通过结合语言提示和基因型-表型关系，实现对癌症表型的前瞻性可解释性学习，提升全切片图像分析的可靠性与可问责性。

Linear representations in language models can change dramatically over a conversation

语言模型中的线性表示在对话中可以剧烈变化

Andrew Kyle Lampinen, Yuxuan Li, Eghbal Hosseini, Sangnie Bhardwaj, Murray Shanahan

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 语言模型中的线性表示在对话中会随内容和角色变化而剧烈改变，影响可解释性和引导方法。

Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning

通过行为校准强化学习缓解大语言模型幻觉

Jiayun Wu, Jiashuo Liu, Zhiyuan Zeng, Tianyang Zhan, Tianle Cai, Wenhao Huang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fudan University（复旦大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过行为校准强化学习提升大语言模型的不确定性量化能力，使其在数学推理和事实问答任务中表现更优。

ProbFM: Probabilistic Time Series Foundation Model with Uncertainty Decomposition

ProbFM：具有不确定性分解的概率时间序列基础模型

Arundeep Chinta, Lucas Vinh Tran, Jay Katukuri

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 ProbFM提出一种基于变压器的概率模型，利用深度证据回归实现理论基础的不确定性分解，提升金融预测的准确性和不确定性量化能力。

Comments Accepted for oral presentation at the AI Meets Quantitative Finance Workshop at ICAIF 2025. An enhanced version was accepted for oral presentation at the AI for Time Series Analysis Workshop at AAAI 2026

Towards Improving Interpretability of Language Model Generation through a Structured Knowledge Discovery Approach

通过结构化知识发现方法提升语言模型生成的可解释性

Shuqi Liu, Han Wu, Guanzhi Deng, Jianshu Chen, Xiaoyang Wang, Linqi Song

机构 * City University of Hong Kong（香港城市大学） ； City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种任务无关的结构化知识猎手，通过结合语言模型的生成能力与知识猎手的高保真度，提升语言模型生成文本的可解释性，并在多个数据集上验证了其有效性。

Large-scale modality-invariant foundation models for brain MRI analysis: Application to lesion segmentation

大规模模态不变基础模型用于脑MRI分析：应用于病变分割

Petros Koutsouvelis, Matej Gazda, Leroy Volmer, Sina Amirrajab, Kamil Barbierik, Branislav Setlak, Jakub Gazda, Peter Drotar

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种大规模模态不变基础模型，用于提升脑MRI中病变分割的性能，通过自监督学习预训练并保留细粒度模态特定特征。

Comments Submitted to IEEE ISBI 2026

Where meaning lives: Layer-wise accessibility of psycholinguistic features in encoder and decoder language models

意义栖息之处：编码器和解码器语言模型中心理语言学特征的分层可访问性

Taisiia Tikhomirova, Dirk U. Wulff

机构 * Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所） ； Technische Universität Berlin（技术大学柏林） ； University of Basel（巴塞尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示了变换器模型中心理语言学特征的分层可访问性，发现意义的定位依赖于方法和架构，并展示了词汇属性与经验性情感维度的深度差异。

Calibrating LLM Judges: Linear Probes for Fast and Reliable Uncertainty Estimation

校准大语言模型法官：用于快速可靠不确定性估计的线性探针

Bhaktipriya Radharapu, Eshika Saxena, Kenneth Li, Chenxi Whitehouse, Adina Williams, Nicola Cancedda

机构 * FAIR at Meta（Meta 的 FAIR 研究所） ； Meta Superintelligence Labs（Meta 超智能实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于线性探针的校准方法，通过Brier分数损失训练，实现快速可靠的LLM法官不确定性估计，相比现有方法在计算效率和泛化能力上表现更优。

Enhancing Vision-Language Model Reliability with Uncertainty-Guided Dropout Decoding

通过不确定性引导的丢弃解码增强视觉-语言模型的可靠性

Yixiong Fang, Ziran Yang, Zhaorun Chen, Zhuokai Zhao, Jiawei Zhou

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Princeton University（普林斯顿大学） ； University of Chicago（芝加哥大学） ； Stony Brook University（石溪大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过不确定性引导的丢弃解码方法，有效减少视觉-语言模型的幻觉问题，提升输出的可靠性和质量。

Comments Accepted to 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Incorporating Error Level Noise Embedding for Improving LLM-Assisted Robustness in Persian Speech Recognition

融合误差等级噪声嵌入以提升波斯语音识别中LLM的鲁棒性

Zahra Rahmani, Hossein Sameti

机构 * Department of Computer Engineering（计算机工程系） ； Sharif University of Technology（谢赫·伊斯兰技术大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出结合误差等级噪声嵌入的波斯语音识别鲁棒性提升方法，通过多假设和噪声感知建模降低WER，实验显示在噪声环境下显著提升识别准确性。

AgentSHAP: Interpreting LLM Agent Tool Importance with Monte Carlo Shapley Value Estimation

AgentSHAP: 通过蒙特卡洛夏普利值估计解释LLM代理工具的重要性

Miriam Horovicz

机构 * Fiverr Labs（Fiverr实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 AgentSHAP通过蒙特卡洛夏普利值估计为LLM代理提供工具重要性解释，解决了工具层面可解释性问题。

B-cos LM: Efficiently Transforming Pre-trained Language Models for Improved Explainability

B-cos LM：高效地将预训练语言模型转换以提高可解释性

Yifan Wang, Sukrut Rao, Ji-Ung Lee, Mayank Jobanputra, Vera Demberg

机构 * Saarland University（萨尔兰大学） ； Max Planck Institute for Informatics（马克斯·普朗克信息研究所） ； Saarland Informatics Campus（萨尔兰计算机科学校区） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出B-cos LM，通过结合B-cos转换和任务微调，提高预训练语言模型的可解释性与效率。

Comments TMLR 12/2025

Layer Probing Improves Kinase Functional Prediction with Protein Language Models

层探查提升基于蛋白质语言模型的激酶功能预测

Ajit Kumar, IndraPrakash Jha

机构 * Adobe（Adobe公司） ； IIIT Delhi（德里印度理工学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过评估ESM-2模型各层，发现中后期Transformer层能显著提升激酶功能预测的准确率和可靠性。

Comments 14 pages, 7 figures, 3 tables; includes code and dataset links

Polarity-Aware Probing for Quantifying Latent Alignment in Language Models

考虑极性的人探针用于量化语言模型中的潜在对齐

Sabrina Sadiekh, Elena Ericheva, Chirag Agarwal

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出考虑极性的CCS方法，用于量化语言模型潜在对齐的鲁棒性，揭示模型内部表示的一致性差异。

Comments 7 pages

UPLME: Uncertainty-Aware Probabilistic Language Modelling for Robust Empathy Regression

UPLME：面向鲁棒共情回归的不确定性感知概率语言建模

Md Rakibul Hasan, Md Zakir Hossain, Aneesh Krishna, Shafin Rahman, Tom Gedeon

机构 * School of Electrical Engineering, Computing and Mathematical Sciences, Curtin University（电气工程、计算与数学科学学院，科廷大学） ； North South University（北南大学） ； BRAC University（布拉克大学） ； The Australian National University（澳大利亚国立大学） ； University of ÓBuda（奥布达大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 UPLME通过不确定性感知的概率语言建模框架，有效应对共情回归任务中的标签噪声问题，实现性能提升。

Comments Code available at https://github.com/hasan-rakibul/UPLME

Node-Level Uncertainty Estimation in LLM-Generated SQL

节点层面的LLM生成SQL不确定性估计

Hilaf Hasson, Ruocheng Guo

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于节点层面的LLM生成SQL不确定性估计方法，通过语义感知标记和特征提取提升查询错误检测与修复的准确性。

Ming-UniAudio: Speech LLM for Joint Understanding, Generation and Editing with Unified Representation

Canxiang Yan, Chunxiang Jin, Dawei Huang, Haibing Yu, Han Peng, Hui Zhan, Jie Gao, Jing Peng, Jingdong Chen, Jun Zhou, Kaimeng Ren, Ming Yang, Mingxue Yang, Qiang Xu, Qin Zhao, Ruijie Xiong, Shaoxiong Lin, Xuezhi Wang, Yi Yuan, Yifei Wu, Yongjie Lyu, Zhengyu He, Zhihao Qiu, Zhiqiang Fang, Ziyuan Huang

机构 * Inclusion AI Ant Group（Inclusion AI Ant集团） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

Comments 32 pages, 8 figures

Are language models aware of the road not taken? Token-level uncertainty and hidden state dynamics

Amir Zur, Atticus Geiger, Ekdeep Singh Lubana, Eric Bigelow

机构 * Department of Linguistics, Stanford University（斯坦福大学语言学系） ； Department of Psychology, Harvard University（哈佛大学心理学系） ； Center for Brain Science, Harvard University（哈佛大学脑科学中心） ； Physics of Intelligence Group, NTT Research（NTT研究物理智能小组） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AILA--First Experiments with Localist Language Models

Joachim Diederich

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

ParaScopes: What do Language Models Activations Encode About Future Text?

Nicky Pochinkov, Yulia Volkova, Anna Vasileva, Sai V R Chereddy

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments Main paper: 9 pages, 10 figures. Total 24 pages