语言大模型 / LLM

Effective Sequence-to-Sequence Dialogue State Tracking

Jeffrey Zhao, Mahdis Mahdieh, Ye Zhang, Yuan Cao, Yonghui Wu

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at EMNLP 2021

Interpretable Propaganda Detection in News Articles

Seunghak Yu, Giovanni Da San Martino, Mitra Mohtarami, James Glass, Preslav Nakov

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments propaganda, propaganda techniques, disinformation, misinformation, fake news, explainability, interpretability

Journal ref RANLP-2021

HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units

Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

A Distributional Approach to Controlled Text Generation

Muhammad Khalifa, Hady Elsahar, Marc Dymetman

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ICLR 2021 camera-ready version

Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue

Longxiang Liu, Zhuosheng Zhang, Hai Zhao, Xi Zhou, Xiang Zhou

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments accepted by AAAI 2021

Pre-training Text-to-Text Transformers for Concept-centric Common Sense

Wangchunshu Zhou, Dong-Ho Lee, Ravi Kiran Selvam, Seyeon Lee, Bill Yuchen Lin, Xiang Ren

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 15 pages, 4 figures. Code and Data: https://github.com/INK-USC/CALM/

Finding Experts in Transformer Models

Xavier Suau, Luca Zappella, Nicholas Apostoloff

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior

Pankaj Gupta, Yatin Chaudhary, Florian Buettner, Hinrich Schütze

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Published in #ICLR2019 International Conference on Learning Representations

LS-Tree: Model Interpretation When the Data Are Linguistic

Jianbo Chen, Michael I. Jordan

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Quantifying Uncertainties in Natural Language Processing Tasks

Yijun Xiao, William Yang Wang

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments To appear at AAAI 2019

A Classification Approach to Word Prediction

Yair Even-Zohar, Dan Roth

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 8 pages

Journal ref NAACL 2000

What do Geometric Hallucination Detection Metrics Actually Measure?

几何幻觉检测度量实际上测量什么？

Eric Yeats, John Buckheit, Sarah Scullen, Brendan Kennedy, Loc Truong, Davis Brown, Bill Kay, Cliff Joslyn, Tegan Emerson, Michael J. Henry, John Emanuello, Henry Kvinge

机构 * Pacific Northwest National Laboratory（太平洋西北国家实验室） ； University of Washington（华盛顿大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Colorado State University（科罗拉多州立大学） ； University of Texas, El Paso（德克萨斯大学埃尔帕索分校） ； Laboratory for Advanced Cybersecurity Research, National Security Agency（国家安全局高级网络安全研究实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG；foundation model(comments)

AI总结 本文研究几何统计在检测幻觉中的作用，通过合成数据集分析不同属性对幻觉检测的影响，并提出归一化方法提升多领域检测性能。

Comments Published at the 2025 ICML Workshop on Reliable and Responsible Foundation Models

ViTally Consistent: Scaling Biological Representation Learning for Cell Microscopy

Kian Kenyon-Dean, Zitong Jerry Wang, John Urbanik, Konstantin Donhauser, Jason Hartford, Saber Saberian, Nil Sahin, Ihab Bendidi, Safiye Celik, Marta Fay, Juan Sebastian Rodriguez Vera, Imran S Haque, Oren Kraus

机构 * Valence Labs（Valence实验室） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract,comments)；分类 cs.AI、cs.LG

Comments ICML 2025 main-track paper (42nd International Conference on Machine Learning). Formerly appeared as best paper runner-up at NeurIPS 2024 Foundation Models for Science Workshop (38th Conference on Neural Information Processing Systems). 18 pages, 7 figures

Uncovering Uncertainty in Transformer Inference

Greyson Brothers, Willa Mannering, Amber Tien, John Winder

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI；foundation model(comments)

Comments Accepted poster at the 38th Conference on Neural Information Processing Systems (NeurIPS 2024) Workshop on Foundation Model Interventions

FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning

Seongyoon Kim, Gihun Lee, Jaehoon Oh, Se-Young Yun

专题命中 知识编辑与模型理解 ：foundation model(abstract,comments)；分类 cs.AI、cs.LG

Comments NeurIPS Workshop: "Federated Learning in the Age of Foundation Models" 2023

Spinning Sequence-to-Sequence Models with Meta-Backdoors

Eugene Bagdasaryan, Vitaly Shmatikov

专题命中 知识编辑与模型理解 ：language model(abstract,comments)；分类 cs.CL、cs.LG

Comments Outdated. Superseded by arXiv:2112.05224 and published at IEEE S&P'22 with title: "Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures"

Graphical Design of Interpretable Architectures

可解释架构的图形化设计

Pietro Barbiero

机构 * IBM Research（IBM研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出改编自Penrose张量表示法的图形符号，可直观呈现可解释AI架构的全局视图并与PyTorch einsum代码一一对应，还绘制了Steerling-8B的架构图并转换为代码。

The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth

概念分配区：追踪概念如何跨越Transformer深度形成

James Henry

机构 * Independent Researcher（独立研究者） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出概念分配区（CAZ）框架，通过层间度量（分离度、概念一致性、概念速度）检测概念在残差流中逐渐形成的深度区间，并在34个模型上验证了分离曲线的多模态性及温和CAZ的因果活性。

Comments v2: substantial revision. Cross-architecture ordering statistic and MHA/GQA cohort-split claim retracted per recomputation; corpus and companion-paper citations refreshed. See paper's "Changes from Version 1" section for the full list of superseded values

Does the Heart Show Your Pain? Tackling the X-ITE Pain Challenge with Self-Supervised ECG Representation Learning

心脏能反映你的疼痛吗？用自监督心电表示学习应对X-ITE疼痛挑战赛

Dominika Kunc, Przemysław Kazienko, Stanisław Saganowski

专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对X-ITE疼痛挑战赛，结合自监督心电表示学习与多模态预训练，分析疼痛识别中的心电信号特性，为可穿戴疼痛监测提供了基础。

Comments 5 pages, 3 Figures, 1 Table, appear in the Proceedings of the 13th International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW 2025)

Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form

聚集而非准入：注意力如何将隐变量转化为可表述形式

Parsa Mazaheri

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过实验发现语言模型不存在词工作空间理论预测的准入门，揭示了隐变量的可读形式由中层窗口内注意力介导的需求特异性聚集产生，而非门控机制。

Comments 26 pages, 9 figures, 6 tables. Code and data: https://github.com/parsa-mz/innerj

CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning

Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments 10 pages, 4 figures, accepted to the 26th International Society for Music Information Retrieval conference (ISMIR 2025), to be held in Daejeon, South Korea

Journal ref Proceedings of the 26th International Society for Music Information Retrieval Conference (ISMIR 2025), Daejeon, South Korea, pp. 569-578, 2025

Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads

低交互秩学习：统一乘法双编码器头

Zijian Zhao, Sen Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出低交互秩学习框架，统一乘法双编码器头架构，解决其设计决策、可识别性等问题，经实验验证该框架可解释对比维度不可解释性并恢复真实模式。

Avalon-ToM-Bench: Evaluating Fine-Grained Theory of Mind via Asymmetric Game Mechanics

Avalon-ToM-Bench：通过非对称游戏机制评估细粒度心理理论

Yen-Shan Chen, Yu Chian Duan, Chih-En Kuo, Jian-Bin Wu, Yun-Nung Chen

机构 * National Taiwan University（台湾大学） ； CyCraft AI Lab（CyCraft人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Avalon-ToM-Bench基准，基于阿瓦隆游戏机制评估大语言模型的细粒度心理理论，发现模型ToM能力不足源于推理策略而非知识或表征，推理训练比测试时思维链增益更显著。

On the Robustness of LLMs' Internal Representation of Code Correctness

大型语言模型内部代码正确性表示的鲁棒性研究

Francisco Ribeiro, Sohaila Abdulsattar, Renata Gonzalez, Mahmoud Kassem, Sarah Nadi

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究系统探究大型语言模型内部代码正确性信号的鲁棒性，发现无最优提取配置且分离故障无法提升信号质量。

Comments 14 pages

Vision-Language Grounding as Bidirectional Concept Correspondence

视觉-语言 Grounding 作为双向概念对应

Jieyu Zhang, Ziqi Gao, Luke Zettlemoyer, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） ； FAIR at Meta（Meta FAIR实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究将视觉-语言 Grounding 建模为双向概念对应，提出 ConCor-1 模型统一相关任务，在长文本数据集和零样本 LVIS 上对应 F1 分别提升 48%、29%，性能优于基线。

Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation

鲁棒滤波注意力：自注意力作为精度加权状态估计

Peter Racioppo

机构 * Independent Researcher, Los Angeles, CA, USA（独立研究者，美国加利福尼亚州洛杉矶） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出鲁棒滤波注意力（RFA），将自注意力建模为基于线性随机微分方程的状态估计，在语言建模中实现优于RoPE的困惑度与零样本外推稳定性。

Comments Accepted to ICML 2026

Position: Certifiable State Integrity Should Be Built from Local Validity, Not Global Scale

位置：可信的状态完整性在网络物理系统中——为什么模块主权解决塑性-稳定性悖论

Enzo Nicolás Spotorno, Joao R. Campos, Antônio Augusto Medeiros Fröhlich

机构 * Software/Hardware Integration Lab (LISHA), Department of Statistics and Informatics, UFSC, Florianópolis, Brazil（软件/硬件集成实验室（LISHA）、统计与信息学系，UFSC，弗洛里亚诺波利斯，巴西） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出模块主权范式，通过冻结领域特定专家和不确定性感知融合，解决网络物理系统中塑性-稳定性悖论，确保状态完整性和可验证性。

Comments v2, 15 pages, (8 main text, 6 references and appendices), 2 figures

Faithful Bi-Directional Model Steering via Distribution Matching and Distributed Interchange Interventions

通过分布匹配和分布式互换干预实现忠实的双向模型引导

Yuntai Bao, Xuhong Zhang, Jintao Chen, Ge Su, Yuxiang Cai, Hao Peng, Bing Sun, Haiqin Weng, Liu Yan, Jianwei Yin

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Concept DAS (CDAS)方法，通过分布匹配和分布式互换干预实现模型引导，改进了传统方法的过拟合问题，提高了引导的准确性和稳定性。

Comments camera ready version; 55 pages, 25 figures; accepted for ICLR 2026

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026

Semantic Alignment of AI Models: Concept Collapse, Checkpoint Dynamics, and Cross-Lingual Transfer

AI模型的语义对齐：概念坍缩、检查点动态与跨语言迁移

Tyler Ashoff, Jordan Rodu

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对语言模型基准测试的难点，提出用拓扑方法将模型高维嵌入空间与可解释基线严格比较，以实现多模态对齐，追踪模型适应并测试跨语言短语理解。

Comments Code available at github.com/tylerashoff/persiscope (PyPI: persiscope)

Can Humans Dream of Electric Sheep? Human-Written Samples for Fine-Grained Vision-and-Language Hallucination Benchmarking

人类能否“梦到”电子羊？用于细粒度视觉语言幻觉基准测试的人类编写样本

Timothee Mickus, Claudio Savelli, Eduardo Calò, Emilio Raimond, Stella Frank, Hengyu Luo, Flavio Giobergia, Vincent Segonne, Chuyuan Li, Aman Sinha, Lorenzo Vaiani, Jörg Tiedemann, Raúl Vázquez

机构 * University of Helsinki（赫尔辛基大学） ； Politecnico di Torino（都灵理工大学） ； Universiteit Utrecht（乌得勒支大学） ； Université Bretagne Sud（南布列塔尼大学） ； University of Copenhagen（哥本哈根大学） ； University Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； University of Lorraine（洛林大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对模型迭代快导致幻觉评估普适性不足的问题，构建多语言人类编写幻觉样本数据集，证实其可替代模型生成样本用于细粒度视觉语言幻觉基准测试。