语言大模型 / LLM

DLM-Scope: Mechanistic Interpretability of Diffusion Language Models via Sparse Autoencoders

DLM-Scope：通过稀疏自编码器实现扩散语言模型的机制可解释性

Xu Wang, Bingqing Jiang, Yu Wan, Baosong Yang, Lingpeng Kong, Difan Zou

机构 * The University of Hong Kong（香港大学） ； Tongyi Lab, Alibaba Group Inc（阿里云实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；post-training(abstract)

AI总结 DLM-Scope通过稀疏自编码器首次实现扩散语言模型的机制可解释性，展示了其在特征提取和干预中的有效性。

Comments 23 pages

SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers

SocialVeil：在沟通障碍下探测语言代理的社会智能

Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

机构 * Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院） ； Department of Psychological Sciences, Rice University（里士满大学心理学系） 纠错

专题命中 知识编辑与模型理解 ：language agent(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SocialVeil通过模拟沟通障碍测试语言模型的社会智能，发现障碍显著降低相互理解并增加困惑度，表明真实社交环境下的交互挑战。

Comments 10 pages

Codified Finite-state Machines for Role-playing

编码有限状态机用于角色扮演

Letian Peng, Yupeng Hou, Kun Zhou, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出编码有限状态机（CFSMs）和编码概率有限状态机（CPFSMs）框架，通过自动编码文本角色档案生成可解释的状态机，提升角色扮演中的一致性和随机性探索能力。

DecompressionLM: Deterministic, Diagnostic, and Zero-Shot Concept Graph Extraction from Language Models

DecompressionLM：从语言模型中确定性、诊断性地提取零样本概念图

Zhaochen Hong, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 DecompressionLM通过无状态框架实现零样本概念图提取，揭示语言模型编码内容，解决跨序列耦合、竞争解码效应和可扩展性限制问题，提升压缩模型的知识广度和事实基础评估。

GAMformer: Bridging Tabular Foundation Models and Interpretable Machine Learning

GAMformer: 联接表格基础模型与可解释机器学习

Andreas Mueller, Julien Siems, Harsha Nori, David Salinas, Arber Zela, Rich Caruana, Frank Hutter

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 GAMformer是首个针对GAMs的表格基础模型，通过上下文学习在一个前向传递中估计GAM形状函数，实现了基础模型的威力与关键应用的可解释性需求之间的平衡。

Comments 22 pages, 15 figures

Reporting and Reviewing LLM-Integrated Systems in HCI: Challenges and Considerations

在人机交互中报告和审查集成大语言模型的系统：挑战与考虑

Karla Felix Navarro, Eugene Syriani, Ian Arawjo

专题命中 知识编辑与模型理解 ：LLM(title,abstract)

AI总结 本文探讨了在人机交互中报告和审查集成大语言模型系统时的挑战，指出信任规范受大语言模型行为不确定性和夸大宣传影响，并提出作者与评审者在标准应用上的不一致及情境依赖的提示报告问题。

Comments 18 pages, 1 figure, 2 tables. For proposed reporting guidelines, see https://ianarawjo.github.io/Guidelines-for-Reporting-LLM-Integrated-Systems-in-HCI/

xList-Hate: A Checklist-Based Framework for Interpretable and Generalizable Hate Speech Detection

xList-Hate: 一个基于检查表的框架用于可解释且可推广的仇恨言论检测

Adrián Girón, Pablo Miralles, Javier Huertas-Tato, Sergio D'Antonio, David Camacho

机构 * Universidad Politécnica de Madrid（马德里理工大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 xList-Hate通过基于检查表的诊断框架，提升仇恨言论检测的可解释性和跨领域鲁棒性。

Transformers Are Born Biased: Structural Inductive Biases at Random Initialization and Their Practical Consequences

Transformer 诞生时的偏见：随机初始化下的结构归纳偏见及其实际影响

Siquan Li, Yao Tong, Haonan Wang, Tianyang Hu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究揭示了随机初始化的 Transformer 存在结构偏见，通过 SeedPrint 方法区分初始化差异的模型，并解释了注意力机制导致的汇现象。

Refine and Purify: Orthogonal Basis Optimization with Null-Space Denoising for Conditional Representation Learning

细化与净化：基于空域去噪的正交基优化用于条件表示学习

Jiaquan Wang, Yan Lyu, Chen Li, Yuheng Jia

机构 * School of Computer Science and Engineering, Southeast University, China（计算机科学与工程学院，东南大学） ； Biomedicine Discovery Institute, Department of Biochemistry and Molecular Biology, Monash University, Australia（生物医学发现研究所，墨尔本大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 OD-CRL通过正交基优化和空域去噪技术提升条件表示学习的性能，实现更稳健的特征提取与泛化能力。

Decision-Focused Sequential Experimental Design: A Directional Uncertainty-Guided Approach

决策导向的顺序实验设计：一种方向性不确定性引导方法

Beichen Wan, Mo Liu, Paul Grigas, Zuo-Jun Max Shen

机构 * Department of Statistics and Operations Research, University of North Carolina（统计与运筹学系，北卡罗来纳大学） ； Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运筹学系，加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.LG

AI总结 本文提出一种基于方向性的不确定性度量，用于改进顺序实验设计，以更有效地优化决策损失。