语言大模型 / LLM

Augment, Drop & Swap: Improving Diversity in LLM Captions for Efficient Music-Text Representation Learning

Ilaria Manco, Justin Salamon, Oriol Nieto

专题命中 知识编辑与模型理解 ：LLM(title)；分类 cs.CL、cs.AI

Comments To appear in the Proceedings of the 25th International Society for Music Information Retrieval Conference (ISMIR 2024)

Global-to-Local Support Spectrums for Language Model Explainability

Lucas Agussurja, Xinyang Lu, Bryan Kian Hsiang Low

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.LG

Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty

Kaitlyn Zhou, Jena D. Hwang, Xiang Ren, Maarten Sap

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.AI

Comments ACL 2024 (Camera Ready)

ToNER: Type-oriented Named Entity Recognition with Generative Language Model

Guochao Jiang, Ziqin Luo, Yuchen Shi, Dixuan Wang, Jiaqing Liang, Deqing Yang

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.AI

Comments Accepted by LREC-COLING 2024

Robust Infidelity: When Faithfulness Measures on Masked Language Models Are Misleading

Evan Crothers, Herna Viktor, Nathalie Japkowicz

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.LG

Rosetta Stone at KSAA-RD Shared Task: A Hop From Language Modeling To Word--Definition Alignment

Ahmed ElBakry, Mohamed Gabr, Muhammad ElNokrashy, Badr AlKhamissi

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.AI

Comments Proceedings of ArabicNLP 2023

ChatGPT Prompting Cannot Estimate Predictive Uncertainty in High-Resource Languages

Martino Pelucchi, Matias Valdenegro-Toro

专题命中 知识编辑与模型理解 ：prompting(title)；分类 cs.CL、cs.LG

Comments 14 pages, 4 figures, with appendix

Survey on Self-Supervised Multimodal Representation Learning and Foundation Models

Sushil Thapa

专题命中 知识编辑与模型理解 ：foundation model(title)；分类 cs.AI、cs.LG

BERTology Meets Biology: Interpreting Attention in Protein Language Models

Jesse Vig, Ali Madani, Lav R. Varshney, Caiming Xiong, Richard Socher, Nazneen Fatema Rajani

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.LG

Comments To appear in ICLR 2021

Language Models Are An Effective Patient Representation Learning Technique For Electronic Health Record Data

Ethan Steinberg, Ken Jung, Jason A. Fries, Conor K. Corbin, Stephen R. Pfohl, Nigam H. Shah

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.LG

Sparsity Emerges Naturally in Neural Language Models

Naomi Saphra, Adam Lopez

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.LG

Comments Published in the ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena: https://openreview.net/forum?id=H1ets1h56E

Does Structured Intent Representation Generalize? A Cross-Language, Cross-Model Empirical Study of 5W3H Prompting

结构化意图表示是否具有泛化性？一项跨语言、跨模型的5W3H提示经验研究

Peng Gang

机构 * Huizhou Lateni AI Technology Co., Ltd.（惠州拉特尼人工智能科技有限公司） ； Huizhou University（惠州大学） 纠错

专题命中 知识编辑与模型理解 ：prompting(title,comments)；分类 cs.AI

AI总结 本文通过跨语言和跨模型的实验，探讨结构化意图表示的泛化能力，发现AI辅助写作工具生成的5W3H提示在目标对齐上与手动创建的提示无显著差异，且能减少跨模型输出方差。

Comments 28 pages, figures, tables, and appendix. Follow-up empirical study extending prior work on PPS and 5W3H structured prompting to cross-language, cross-model, and AI-assisted authoring settings

Explaining Intrinsic Moral Self-Correction with Mechanistic Interpretability

大语言模型中的内在自我修正：通过机制可解释性实现可解释的提示

Yu-Ting Lee, Fu-Chieh Chang, Yu-En Shu, Hui-Ying Shih, Pei-Yuan Wu

机构 * Graduate Institute of Communication Engineering, National Taiwan University, Taipei, Taiwan（通讯工程研究院，国立台湾大学） ； MediaTek Research, Taipei, Taiwan（联发科研究，台北，台湾） ； Department of Electrical Engineering, National Taiwan University, Taipei, Taiwan（电气工程系，国立台湾大学） ； Department of Electrical Engineering, National Tsing Hua University, Hsinchu, Taiwan（电气工程系，国立清华大学） ； AI Research Center (AINTU), National Taiwan University, Taipei, Taiwan（人工智能研究中心（AINTU），国立台湾大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过机制可解释性揭示大语言模型中内在自我修正的机制，证明提示引导隐藏表示偏移是其核心驱动因素。

Journal ref 4th Deployable AI Workshop at AAAI 2026

Forking Fast: Efficiently Estimating Uncertainty Dynamics in Text Generation

快速分叉：高效估计文本生成中的不确定性动态

Eric Bigelow, Amir Zur, Satchel Grant, Tal Haklay, Can Rager, Owen Lewis, Thomas McGrath, Jack Merullo, Ekdeep Singh Lubana, Atticus Geiger

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对文本生成中不确定性动态估计成本高的问题，本研究开发统计模型平滑低采样推理数据以近似高采样数据，提升重采样分析效率，揭示不确定性动态的稳定模式及噪声来源。

Appearing Legitimate is Not Enough: Interrogating Synthetic Agents in Representational Processes through a Participatory Design Lens

看似合法还不够：通过参与式设计视角审视表征过程中的合成智能体

Aditya Nayak, Aditi Vashistha, Alissa Centivany, Aakash Gautam

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；foundation model(abstract)

AI总结 本文从参与式设计视角，结合三个不同规模的案例，探讨用合成智能体替代人类参与表征过程的合法性与人格关联，指出其风险并提出监督边界。

Comments 13 pages total, 4 figures, accepted to the 9th AAAI Conference on AI, Ethics, and Society (AIES 2026)

Multimodal Model Diffing for Feature Discovery and Control

用于特征发现与控制的多模态模型差异分析

Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark

机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出MMDiff多模态模型差异分析框架，训练多模态SAEs以识别多模态训练改变的特征，实现特征隔离、检测与控制，在空间、OCR任务及多模态安全攻击评估中展现出良好效果。

Comments Preprint. Accepted at ICML 2026 Trustworthy AI for Good Workshop

Diamonds in the rough: Transforming SPARCs of imagination into a game concept by leveraging medium sized LLMs

粗糙中的钻石：通过利用中型大语言模型将想象力的SPARCs转化为游戏概念

Julian Geheeb, Farhan Abid Ivan, Daniel Dyrda, Miriam Anschütz, Georg Groh

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究了中型大语言模型在早期游戏设计中的应用，通过生成和评估游戏创意，展示了这些模型在提供有用反馈方面的潜力，并指出需要进一步优化提示方法以提高一致性。

Comments 13 pages, 4 figures, 2 tables

Journal ref Proceedings of AI4HGI '25, the First Workshop on Artificial Intelligence for Human-Game Interaction at the 28th European Conference on Artificial Intelligence (ECAI '25), Bologna, October 25-30, 2025

Don't Use a Cannon to Kill a Fly: Lightweight Model Editing for LLMs to Correct Deprecated API Recommendations

轻量级模型编辑用于LLMs纠正过时的API推荐

Guancheng Lin, Xiao Yu, Jacky Keung, Xing Hu, Xin Xia, Alex X. Liu

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AdaLoRA-L方法，通过区分通用API层和特定API层，提升LLMs生成最新API的能力。

Comments Accepted to ISSTA 2026

Beyond "What to Retrieve": Uncertainty in Retrieval-Augmented Code Generation

超越“检索什么”：检索增强代码生成中的不确定性

Chandan Kumar Sah, Li Zhang, Xiaoli Lian

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究存储库级代码生成中异构证据不确定性问题，提出不确定性感知框架OpenCoder，通过估计特定源不确定性来过滤和排序证据以指导相关操作，实验表明其能提高输出正确性，支持将不确定性作为可操作控制信号。

Comments 9 pages, 4 figures. Source code and supporting materials are available at https://github.com/Rocky5502/OpenCoder_V1

Concept Tokens: Learning Behavioral Embeddings Through Concept Definitions

概念标记：通过概念定义学习行为嵌入

Ignacio Sastre, Aiala Rosá

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 Concept Tokens通过概念定义学习行为嵌入，能有效控制冻结语言模型的行为，减少幻觉并提升合规性。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 26501-26518, 2026

Robust Interpretation of Historical Documents in Knowledge Graphs Through Query Inference and Execution

通过查询推理和执行对知识图谱中的历史文档进行鲁棒解释

Sebastià Nicolau, Adrià Molina, Oriol Ramos Terrades, Josep Lladós

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究如何在利用大语言模型泛化能力时保证可靠性，提出智能检索系统，比较传统RAG与智能GraphRAG架构，引入半符号框架，通过单词识别与代码生成协作构建鲁棒检索查询，提升历史文档分析准确性与可验证性。

Comments Accepted at ICDAR2026

Beyond Black-Box Obfuscation: Mechanistic Analysis and Defense of White-Box Monitors

超越黑盒混淆：白盒监测器的机制分析与防御

Maheep Chaudhary, Fazl Barez

机构 * University of Oxford（牛津大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型白盒监测器可被规避且缺乏防御措施的问题，通过红队实验揭示几何转移和协方差操纵两种逃避策略，引入SafetyNet集成方法，在多模型家族实验中取得高AUROC分数，为稳健潜在空间监测提供了实证和起点。

A First-Principles Theory of Slow Thinking and Active Perception

慢思考与主动感知的第一性原理理论

Hongkang Yang, Zhi-Qin John Xu, Feiyu Xiong, Weinan E

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文旨在为思维和感知提供数学公式，提出“主动提升”理论，推导慢思考相关内容，涵盖其设计、训练和推理，得出大设计空间及相关层次，还包括推理过程、训练目标等，有诸多技术副产品。

Comments Published on 2026/05/11 in Journal of Machine Learning

Journal ref Journal of Machine Learning 5 (2026) 197-352

SPHINX: First Explain, Then Explore

SPHINX: 先解释，再探索

Nguyen Do, Tue M. Cao, Tien Van Do, András Hajdu, Tamás Bérczes, My T. Thai

机构 * University of Florida（佛罗里达大学） ； University of Debrecen（德布勒恩大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SPHINX闭环框架，通过可解释AI分析驾驶策略的失败模式，并利用视觉语言模型生成针对性对抗场景，提升自动驾驶策略鲁棒性。

Comments 13 pages

An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms

基于梯度范数的高效不确定性量化方法

Nils Grünefeld, Jes Frellsen, Christian Hardmeier

机构 * IT University of Copenhagen（哥本哈根信息技术大学） ； Pioneer Centre for Artificial Intelligence（人工智能先锋中心） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种轻量级方法，通过梯度范数和参数协方差的近似，实现对神经网络预测不确定性的高效量化，验证了其在不同基准测试中的有效性。

Comments ProbML 2026

Caption Bottleneck Models

标题瓶颈模型

Seref Baris Cagliyan, Umut Ozdemir, Merve Tapli, Emre Akbas

机构 * Dept. of Computer Eng., Middle East Technical University (METU)（中东技术大学计算机工程系） ； Robotics & AI Center (ROMER), METU（中东技术大学机器人与人工智能中心） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 提出标题瓶颈模型（CaBM），用自由形式自然语言替代固定概念集，通过LMM生成标题并严格基于文本训练分类器，实现无信息泄露的架构并自主发现高质量概念。

Comments Accepted to ECCV 2026

Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense

关闭激活锥盲点：响应时间探测与统一防御

Subhadip Mitra

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型推理时安全方法，发现提示时激活防御对预填充攻击存在结构性盲点，提出响应时间探测（线性探针）结合停止机制，将预填充攻击成功率降至0，并与AlphaSteer组合实现正交防御。

Comments 27 pages, 12 figures, 18 tables. Code and data: https://github.com/bassrehab/response-time-probing

Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers

注意力-only变换器中间接对象识别最小电路的涌现

Rabin Adhikari

机构 * Saarland University（萨尔大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过从头训练小型注意力-only变换器，在符号化的间接对象识别任务中发现，单层模型仅需两个注意力头即可实现完美准确率，揭示了任务特定训练如何诱导可解释的最小电路。

Comments Published at ACL (Volume 4: Student Research Workshop) ISBN: 979-8-89176-393-7 URL: https://aclanthology.org/2026.acl-srw.4

Towards the interoperability of low-code platforms

迈向低代码平台的互操作性

Iván Alfonso, Aaron Conrardy, Jordi Cabot

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过半自动迁移模型提升低代码平台互操作性，分析主流平台的导入导出能力，并结合大语言模型图像识别功能实现模型迁移。

Comments Submitted to International Conference on Advanced Information Systems Engineering (CAiSE25)

Journal ref Lecture Notes in Business Information Processing (LNBIP), Springer, 2025

Correct When Paired, Wrong When Split: Decoupling and Editing Modality-Specific Neurons in MLLMs

配对时正确，分离时错误：多模态大语言模型中模态特定神经元的解耦与编辑

Tingchao Fu, Wenkai Wang, Fanxiao Li, Huadong Zhang, Jinhong Zhang, Dayang Li, Yunyun Dong, Renyang Liu, Wei Zhou

机构 * School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院） ； School of Software, Yunnan University（云南大学软件学院） ； National University of Singapore（新加坡国立大学） ； School of Engineering, Yunnan University（云南大学工程学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对多模态大语言模型知识编辑中存在的解耦失败问题，提出DECODE方法，通过显式解耦和定位模态特定神经元组，实现跨模态触发下的有效知识更新。

Comments 18 pages, 11 figures