语言大模型 / LLM

Generative Pre-Trained Diffusion Paradigm for Zero-Shot Time Series Forecasting

Jiarui Yang, Tao Dai, Naiqi Li, Junxi Wu, Peiyuan Liu, Jinmin Li, Jigang Bao, Haigang Zhang, Shutao Xia

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 12 pages

Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities

Alexander Nikitin, Jannik Kossen, Yarin Gal, Pekka Marttinen

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Don't Forget to Connect! Improving RAG with Graph-based Reranking

Jialin Dong, Bahare Fatemi, Bryan Perozzi, Lin F. Yang, Anton Tsitsulin

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Reformatted Alignment

Run-Ze Fan, Xuefeng Li, Haoyang Zou, Junlong Li, Shwai He, Ethan Chern, Jiewen Hu, Pengfei Liu

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Homepage: https://gair-nlp.github.io/ReAlign/

KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking

Jiawei Zhang, Chejian Xu, Yu Gai, Freddy Lecue, Dawn Song, Bo Li

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

ALOHa: A New Measure for Hallucination in Captioning Models

Suzanne Petryk, David M. Chan, Anish Kachinthaya, Haodi Zou, John Canny, Joseph E. Gonzalez, Trevor Darrell

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments To appear at NAACL 2024

Hallucination Diversity-Aware Active Learning for Text Summarization

Yu Xia, Xu Liu, Tong Yu, Sungchul Kim, Ryan A. Rossi, Anup Rao, Tung Mai, Shuai Li

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to NAACL 2024

In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation

Shiqi Chen, Miao Xiong, Junteng Liu, Zhengxuan Wu, Teng Xiao, Siyang Gao, Junxian He

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments code repo is available at: https://github.com/hkust-nlp/Activation_decoding.git

Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains

Sanjana Ramprasad, Kundan Krishna, Zachary C Lipton, Byron C Wallace

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Generative AI in Writing Research Papers: A New Type of Algorithmic Bias and Uncertainty in Scholarly Work

Rishab Jain, Aditya Jain

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 10 pages, 6 figures

KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection

Sehyun Choi, Tianqing Fang, Zhaowei Wang, Yangqiu Song

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at EMNLP 2023 Main Conference

ChatGraph: Interpretable Text Classification by Converting ChatGPT Knowledge to Graphs

Yucheng Shi, Hehuan Ma, Wenliang Zhong, Qiaoyu Tan, Gengchen Mai, Xiang Li, Tianming Liu, Junzhou Huang

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 6 pages, 2 figures

Understanding Programs by Exploiting (Fuzzing) Test Cases

Jianyu Zhao, Yuyang Rong, Yiwen Guo, Yifeng He, Hao Chen

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Findings of the Association for Computational Linguistics: ACL 2023; fix typos and update results to keep the same settings in all experiments

Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation

Lorenz Kuhn, Yarin Gal, Sebastian Farquhar

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments International Conference on Learning Representations 2023 (Spotlight)

Investigating Representation Universality: Case Study on Genealogical Representations

探讨表示通用性：谱系表示的案例研究

David D. Baek, Yuxiao Li, Max Tegmark

机构 * MIT（麻省理工学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究探讨了大型语言模型在表示谱系信息时的通用性，通过两种实验证据验证图结构表示的通用性，并指出缺乏地面真实表示的挑战。

Comments 14 pages, 7 figures

Journal ref NeurIPS 2025 Workshop on Responsible Foundation Models

Do LLMs "Feel"? Emotion Circuits Discovery and Control

Chenxi Wang, Yixuan Zhang, Ruiji Yu, Yufei Zheng, Lang Gao, Zirui Song, Zixiang Xu, Gus Xia, Huishuai Zhang, Dongyan Zhao, Xiuying Chen

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments 19 pages, 8 figures, 8 tables. Code and dataset available at https://github.com/Aurora-cx/EmotionCircuits-LLM

To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation

Kaustubh D. Dhole

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 1st workshop of "Quantify Uncertainty and Hallucination in Foundation Models: The Next Frontier in Reliable AI" at ICLR 2025

A Multimodal Foundation Model for Longitudinal Patient Representation and Scalable Insight Generation in Oncology

面向肿瘤学纵向患者表示与可扩展洞察生成的多模态基础模型

Eugene Vorontsov, Yi Kan Wang, Alican Bozkurt, Adam Casson, Ludmila Tydlitatova, Michal Zelechowski, Ezra E. W. Cohen, Jyoti D. Patel, Max Banaszak, Caitlin McWilliams, Shane Colley, Kate Sasser, Ryan Fukushima, Eric Lefkofsky, Razik Yousfi, Siqi Liu

机构 * Tempus AI, Inc.（Tempus AI公司） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究推出多模态基础模型oFM，基于167万肿瘤患者数据整合多模态信息，在预后基准及治疗队列中表现优于基线特征，还开发了机制发现框架以解释模型，助力肿瘤学临床与药物开发应用。

Bridging Linguistic Structure and Mechanistic Interpretability for Conceptual Interpretation in Language Models

弥合语言结构与机械可解释性以实现语言模型中的概念解释

Nura Aljaafari, Danilo S. Carvalho, André Freitas

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究提出DSRA方法，结合因果追踪与定义性语义角色，在GPT-J-6B和BERTIN GPT-J-6B中揭示语言模型内部激活与定义结构的系统对应，为概念解释研究提供新路径。

Comments 20 pages, 17 figures

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

RARE：在混合专家（MoE）语言模型中解耦表示调控与专家路由

Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； AIDX TECH PTE. LTD.（AIDX科技私人有限公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 针对表示工程直接应用于MoE模型的结构不匹配问题，提出与路由无关的RARE框架，通过投影扰动到路由矩阵零空间并修正路由漂移，在三类调控任务中实现了更优的有效性-效用权衡。

Comments 20 pages, 3 figures. Paper accepted to the Actionable Interpretability Workshop at COLM 2026

Trojaning the Alignment: Stealthy Backdoor Attacks against Graph Foundation Models

对齐攻击：针对图基础模型的隐蔽后门攻击

Minhua Lin, Zhicheng Gao, Yilong Wang, Hanqing Lu, Xiang Zhang, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon（亚马逊） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文针对带文本属性图的图基础模型，提出STAG隐蔽特洛伊木马攻击框架，协调图触发器生成器与文本软提示实现后门攻击，经多数据集实验验证其有效性与隐蔽性。

Comments Accepted by ICDM 2026

A Declarative-Procedural Perspective on Expert Routing in Bilingual Mixture-of-Experts Language Models

双语混合专家语言模型中专家路由的声明式-过程式视角

Amrit Gopinath, Raghul, Durairaj Thenmozhi

机构 * Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院） ； Shiv Nadar University Chennai（钦奈希夫·纳达尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究探究双语MoE语言模型的专家路由是否形成语言结构，对比课程学习与无课程训练的模型，发现无课程模型专业化更强但依赖随机种子，课程模型路由更均衡，揭示MoE路由可出现可解释语言组织。

Comments 15 pages, 6 figures, 12 tables (including appendix)

What Makes a Good Layer? Assessing the Layer-Wise Intrinsic Properties of Music Foundation Models

什么构成了好的层？评估音乐基础模型的逐层固有属性

Angelos-Nikolaos Kanatas, Yuexuan Kong, Pablo Alonso-Jiménez, Xavier Serra, Dmitry Bogdanov

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 该研究分析12个音乐基础模型的逐层固有属性，发现现有指标无法通用追踪所有音乐任务的层质量，提出音高转置等变度指标，该指标可有效用于层选择，性能优于可训练多层融合方法，尤其在数据有限场景

Comments 11 pages, 2 figures, 2 tables. Accepted at ISMIR 2026. Project page: https://angeloskanatas.github.io/music-fms-layer-eval/

Language Models Compare Quantities Using Number-specific and Unit-specific Heuristics

语言模型使用数字特定和单位特定启发式比较数量

Mutsumi Sasaki, Go kamoda, Ryosuke Takahashi, Kosuke Sato, Kentaro Inui, Keisuke Sakaguchi, Benjamin Heinzerling

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究通过控制实验发现，语言模型在比较带单位的数量时，并非进行精确的尺度转换，而是依赖数字差异和单位尺度差异的启发式策略，导致在比较边界附近系统性错误。

EEG-PRISM: Physiologically-Grounded Interpretability of Predictions by EEG Foundation Models

EEG-PRISM：基于生理学的脑电基础模型预测可解释性方法

Deeksha M Shama, Punnisa Amornsirikul, Archana Venkataraman

机构 * Johns Hopkins University（约翰斯·霍普金斯大学） ； Boston University（波士顿大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究提出EEG-PRISM，一种无需修改脑电基础模型的事后归因方法，可将其归因分数映射至频谱、空间域，能定位癫痫发作区、自闭症生物标志物等，提升脑电基础模型的可解释性。

CurveFP: Co-Designing Numerical Representation and Product Arithmetic for Language Models

CurveFP：用于语言模型的带闭包乘积的有理基数对数数据类型

Ye Qiao

机构 * University of California, Irvine（加州大学欧文分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出CurveFP数据类型，通过闭包乘积算术协同设计，在少1位元素位数下提升语言模型性能，降低运算误差，优于FP8且更适合紧凑部署。

P3CA: Encoder-Agnostic Interpretation of Vision Foundation Model Embeddings via Spatial Probing

P3CA：通过空间探测实现与编码器无关的视觉基础模型嵌入解释

Amoon Jamzad, Dilakshan Srikanthan, Faranak Akbarifar, Nooshin Maghsoodi, Parvin Mousavi

机构 * School of Computing, Queen’s University（女王大学计算学院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对视觉基础模型嵌入难以解释的问题，提出与编码器无关的P3CA方法，通过空间提示实现局部探测，在多类数据上验证其可揭示局部结构、提升病理判别能力等贡献。

Comments 10 pages, 5 figures, 1 table. Accepted at the iMIMIC Workshop, MICCAI 2026. This arXiv version is the pre-peer-review author manuscript

CRUISE: Vision-Language Model-Guided Uncertainty-Aware Cross-Modal Sensor Fusion for Robust Autonomous Driving

CRUISE：面向鲁棒自动驾驶的视觉语言模型引导的不确定性感知跨模态传感器融合

Junyao Wang, Yulin Xu, Yu Li, Pramod Khargonekar, Mohammad Abdullah Al Faruque

机构 * University of California, Irvine（加利福尼亚大学欧文分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 针对现有不确定性感知融合方法泛化性差的问题，提出CRUISE框架，结合VLM引导的UQ模块与动态自适应机制，实现鲁棒的自动驾驶跨模态传感器融合。

Unsure but Certain: Uncovering the Representation-Confidence Gap in Diffusion Language Models

不确定但确定：揭示扩散语言模型中的表示-置信度差距

Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究揭示扩散语言模型存在表示-置信度差距，其高置信度集中是误导性症状，现有补救措施难修复排序缺陷，提出轻量级工具利用隐藏状态信号改进排序，指出噪声下置信度可靠性是更紧迫限制。