语言大模型 / LLM

Measuring Uncertainty in Transformer Circuits with Effective Information Consistency

通过有效信息一致性测量变换器电路中的不确定性

Anatoly A. Krasnovsky

机构 * Innopolis University（因诺波利斯大学） ； MB3R Lab（MB3R实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出有效信息一致性评分，通过局部雅可比矩阵和激活值计算规范化sheaf不一致性，并结合高斯EI代理评估电路层面因果涌现，以量化变换器电路行为的一致性与可信度。

Journal ref Automatic Documentation and Mathematical Linguistics 59 (Suppl 5), S423-S429 (2025)

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

TARS：最小最大令牌自适应偏好策略用于减少多模态大语言模型中的幻觉

Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang

机构 * Xiamen University（厦门大学） ； Westlake University（西湖大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； AWS AI Lab, Amazon（亚马逊AWS AI实验室） ； Hupan Laboratory（湖畔实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 TARS通过最小最大优化问题重构直接偏好优化，通过对抗性令牌扰动减少多模态大语言模型中的幻觉，通过频域对齐损失提升隐藏表征，优于标准DPO并超越数据增强方法。

The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation

对齐税：对齐语言模型中的响应同质化及其对不确定性估计的影响

Mingyi Liu

专题命中 知识编辑与模型理解 ：language model(abstract)；SFT(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现对齐语言模型存在响应同质化现象，影响不确定性估计方法的效果，提出通过叠加不确定性信号提升模型性能。

Comments 25 pages, 3 figures, 10 tables, 24 experiments across 5 benchmarks. v2: added SINdex head-to-head (Exp 27), NLI validation (Exp 28), decoding protocol analysis. Code: https://github.com/DigitLion/ucbd-experiment

Is Conformal Factuality for RAG-based LLMs Robust? Novel Metrics and Systematic Insights

基于RAG的LLM的符合事实性是否具有鲁棒性？新颖的度量和系统性洞察

Yi Chen, Daiwei Chen, Sukrut Madhav Chikodikar, Caitlyn Heqi Yin, Ramya Korlakai Vinayak

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文系统分析了RAG-based LLMs在符合事实性方面的可靠性与实用性，提出新的信息度量方法，发现高事实性水平导致输出空洞，符合事实性不鲁棒于分布偏移，轻量蕴含验证器更高效且表现优异。

Comments 56 pages

The Geometry of Reasoning: Flowing Logics in Representation Space

推理的几何学：表示空间中的流动逻辑

Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过几何框架分析LLM推理过程，揭示其在表示空间中的流动特性，并验证逻辑结构与语义的关系。

Comments ICLR 2026. Code: https://github.com/MasterZhou1/Reasoning-Flow

High Fidelity Textual User Representation over Heterogeneous Sources via Reinforcement Learning

通过强化学习实现高保真的异构源文本用户表示

Rajat Arora, Ye Tao, Jianqiang Shen, Ping Liu, Muchen Wu, Qianqi Shen, Benjamin Le, Fedor Borisyuk, Jingwei Wu, Wenjing Zhang

机构 * LinkedIn Corporation（领英公司） ； Rutgers, The State University of New Jersey（罗格斯大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于强化学习的框架，通过隐含用户参与信号和规则奖励，实现统一且可解释的用户文本表示，提升大规模就业平台的个性化效果。

FactSelfCheck: Fact-Level Black-Box Hallucination Detection for LLMs

FactSelfCheck: LLMs中的事实级黑盒幻觉检测

Albert Sawczyn, Jakub Binkowski, Denis Janiak, Bogdan Gabrys, Tomasz Kajdanowicz

机构 * wrocław University of Science and Technology（沃拉布罗德技术大学） ； University of Technology Sydney（悉尼技术大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 FactSelfCheck通过事实级黑盒采样方法提升LLM幻觉检测精度，实现更详细的事实性分析与纠正。

Comments Accepted for EACL 2026 (findings)

Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders

评估稀疏自编码器中概念表示的对抗鲁棒性

Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

机构 * University of California, Berkeley（加州大学伯克利分校） ； Bosch Research（博世研究） ； Harvard University（哈佛大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究评估了稀疏自编码器中概念表示的对抗鲁棒性，发现其易受微小输入扰动影响，可能不适合用于模型监控和监督。

Inside Out: Uncovering How Comment Internalization Steers LLMs for Better or Worse

Inside Out: 解析评论内化如何引导LLM向好或向坏发展

Aaron Imani, Mohammad Moshirpour, Iftekhar Ahmed

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究通过分析LLM对评论的内部化过程，揭示了评论对代码补全、翻译等任务性能的影响，并发现代码摘要任务对评论概念的激活最强。

Comments Accepted in the 48th IEEE/ACM International Conference on Software Engineering (ICSE)

Incentives or Ontology? A Structural Rebuttal to OpenAI's Hallucination Thesis

激励还是本体？对OpenAI“幻觉假说”的结构反驳

Richard Ackermann, Simeon Emanuilov

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文反驳OpenAI关于幻觉源于激励不匹配的观点，指出幻觉是Transformer架构的必然结果，需通过外部验证模块消除，而非改变激励或微调。

Comments 17 pages, references to prior work arXiv:2509.16297 and arXiv:2511.06073

3DRS: MLLMs Need 3D-Aware Representation Supervision for Scene Understanding

3DRS: MLLMs 需要 3D 意识表示监督以实现场景理解

Xiaohu Huang, Jingjing Wu, Qunyi Xie, Kai Han

机构 * Visual AI Lab, The University of Hong Kong（香港大学视觉人工智能实验室） ； Department of Computer Vision Technology (VIS), Baidu Inc.（百度公司计算机视觉技术部） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 3DRS 通过引入预训练 3D 基础模型的监督，提升 MLLM 的 3D 表示能力，从而增强场景理解性能

Fair In-Context Learning via Latent Concept Variables

Karuna Bhaila, Minh-Hao Van, Kennedy Edemacu, Chen Zhao, Feng Chen, Xintao Wu

机构 * University of Arkansas（亚拉巴马大学） ； Baylor University（贝勒大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments IEEE BigData 2025

Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning

Helena Casademunt, Caden Juang, Adam Karvonen, Samuel Marks, Senthooran Rajamanoharan, Neel Nanda

机构 * Harvard University（哈佛大学） ； Northeastern University（东北大学） ； Anthropic ； ML Alignment & Theory Scholars (MATS) program（ML对齐与理论学者（MATS）计划） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AcuRank: Uncertainty-Aware Adaptive Computation for Listwise Reranking

Soyoung Yoon, Gyuwan Kim, Gyu-Hwung Cho, Seung-won Hwang

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at NeurIPS 2025. The first two authors contributed equally. Author order is randomly determined via coin toss

Bolster Hallucination Detection via Prompt-Guided Data Augmentation

Wenyun Li, Zheng Zhang, Dongmei Jiang, Xiangyuan Lan

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

On the Effectiveness and Generalization of Race Representations for Debiasing High-Stakes Decisions

Dang Nguyen, Chenhao Tan

机构 * Department of Computer Science University of Chicago（计算机科学系芝加哥大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 21 pages, 15 figures, 14 tables. Accepted as a conference paper at COLM 2025. Camera-ready

SpecifyUI: Supporting Iterative UI Design Intent Expression through Structured Specifications and Generative AI

Yunnong Chen, Chengwei Shi, Liuqing Chen

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 27 pages, 12 figures

Prompt the Unseen: Evaluating Visual-Language Alignment Beyond Supervision

Raehyuk Jung, Seungjun Yu, Hyunjung Shim

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Link to publicly available codes is added

QueryBandits for Hallucination Mitigation: Exploiting Semantic Features for No-Regret Rewriting

Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso

机构 * JP Morgan AI Research（摩根大通人工智能研究） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

The Illusion of Progress: Re-evaluating Hallucination Detection in LLMs

Denis Janiak, Jakub Binkowski, Albert Sawczyn, Bogdan Gabrys, Ravid Shwartz-Ziv, Tomasz Kajdanowicz

机构 * Wroclaw University of Science and Technology（沃拉日市科学与技术大学） ； University of Technology Sydney（悉尼技术大学） ； New York University（纽约大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Preprint, under review

Instruction Learning Paradigms: A Dual Perspective on White-box and Black-box LLMs

Yanwei Ren, Liu Liu, Baosheng Yu, Jiayan Qiu, Quan Chen

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； Nanyang Technological University（南洋理工大学） ； University of Leicester（莱斯特大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

UProp: Investigating the Uncertainty Propagation of LLMs in Multi-Step Agentic Decision-Making

Jinhao Duan, James Diffenderfer, Sandeep Madireddy, Tianlong Chen, Bhavya Kailkhura, Kaidi Xu

机构 * Drexel University（德雷塞尔大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Argonne National Laboratory（阿贡国家实验室） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 19 pages, 5 figures, 4 tables

Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts

Zain Muhammad Mujahid, Dilshod Azizov, Maha Tufail Agro, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to Findings of the Association for Computational Linguistics (ACL) 2025

Multi-group Uncertainty Quantification for Long-form Text Generation

Terrance Liu, Zhiwei Steven Wu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Updated to UAI 2025 camera ready version

How Does Response Length Affect Long-Form Factuality

James Xu Zhao, Jimmy Z. J. Liu, Bryan Hooi, See-Kiong Ng

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ACL 2025 Findings. 24 pages, 10 figures, 18 tables. Code available at https://github.com/XuZhao0/length-bias-factuality

Cross-Modal Prototype Allocation: Unsupervised Slide Representation Learning via Patch-Text Contrast in Computational Pathology

Yuxuan Chen, Jiawen Li, Jiali Hu, Xitong Ling, Tian Guan, Anjia Han, Yonghong He

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments 11pages,3 figures

Automated Hypothesis Validation with Agentic Sequential Falsifications

Kexin Huang, Ying Jin, Ryan Li, Michael Y. Li, Emmanuel Candès, Jure Leskovec

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Reducing hallucination in structured outputs via Retrieval-Augmented Generation

Patrice Béchard, Orlando Marquez Ayala

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments To be presented at NAACL 2024. 11 pages and 4 figures

Journal ref 2024.naacl-industry.19

Improving Concept Alignment in Vision-Language Concept Bottleneck Models

Nithish Muthuchamy Selvaraj, Xiaobao Guo, Adams Wai-Kin Kong, Alex Kot

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings

Jinzhao Zhou, Yiqun Duan, Ziyi Zhao, Yu-Cheng Chang, Yu-Kai Wang, Thomas Do, Chin-Teng Lin

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG