语言大模型 / LLM

When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs

当RAG有害：诊断和缓解检索增强LVLMs中的注意力分散

Beidi Zhao, Wenlong Deng, Xinting Liao, Yushu Li, Nazim Shaikh, Yao Nie, Xiaoxiao Li

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文发现检索增强生成（RAG）在LVLMs中导致注意力分散（AD）问题，即检索文本抑制视觉注意力并偏离问题相关区域，提出MAD-RAG方法通过双问题公式和注意力混合来解耦视觉定位与上下文整合，在三个基准上提升性能并纠正大部分失败案例。

Comments 19 pages, 13 figures

Attention, not scale, drives human-AI alignment in multimodal language prediction

注意力，而非规模，驱动多模态语言预测中的人机对齐

Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

机构 * Psychology and Language Science, Experimental Psychology, University College London, London, UK（心理学与语言科学、实验心理学，伦敦大学学院，伦敦，英国） ； Google Deepmind, Mountain View, US（谷歌DeepMind，山景城，美国） ； Princeton Neuroscience Institute, Princeton University, Princeton, NJ, USA（普林斯顿神经科学研究所，普林斯顿大学，普林斯顿，新泽西州，美国） ； Computer Science Department, Exeter University（计算机科学系，埃克塞特大学） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过比较五种视觉-语言模型与600名人类在视觉世界范式中的表现，发现添加视觉上下文显著提升模型与人类在预测评分上的一致性，且注意力机制而非模型规模是主要驱动因素。

Comments 39 pages, 6 Figures, published in NPJ Artificial Intelligence

Does Traversal Order Matter? A Systematic Study of Tree Traversal Methods in Transformer Grammars

遍历顺序重要吗？Transformer语法中树遍历方法的系统研究

Zongru Liu, Pengyu Ji, Pengcheng Wang, Kewei Tu

机构 * School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.CL

AI总结 本文系统研究了Transformer语法中不同树遍历方法（深度优先、广度优先及新提出的产生式规则遍历）对语言建模、句法泛化和摘要生成的影响，揭示了嵌套组合与全局前瞻之间的权衡。

Architectural Wisdom: A Framework for Governing Optimization in AI Systems

架构智慧：AI系统中优化治理的框架

Edward Y. Chang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.AI

AI总结 提出一种可修正的目标治理层，通过时间跨度、关系边界和不可逆性三个结构承诺，解决AI系统优化目标不当导致的失败问题。

Comments 17 pages, 2 tables, 2 figures

Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs

什么都行？语言模型中（不）可能语言学习的跨语言研究

Xiulin Yang, Tatsuya Aoyama, Yuekun Yao, Ethan Gotlieb Wilcox

机构 * Georgetown University（乔治城大学） ； Saarland University（萨尔兰大学） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.CL

AI总结 通过训练语言模型学习不可能和类型学上未证实的语言，跨12种语言实验发现GPT-2小模型能部分区分自然语言与不可能语言，但弱于人类归纳偏置。

Comments ACL 2025

Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

语义保持提示劫持：针对自动提示优化的黑盒对抗攻击

Chong Zhang, Xiang Li, Jia Wang, Shan Liang, Haochen Xue, Xiaobo Jin

机构 * Jiangsu universities（江苏大学） ； NSFC（国家自然科学基金委员会） ； RDF-24-01-016 纠错

专题命中 其他LLM ：LLM(abstract_cn)；分类 cs.CL

AI总结 提出一种黑盒条件下的自适应贪婪局部搜索方法，通过层次化分解输入文本、掩码关键语言单元并动态调整候选词，在保持语义相似度的同时最大化模型输出与原始意图的偏差，在2400+测试用例中取得更高攻击成功率。

Comments 12 pages, 8 figures. Accepted by the IEEE International Conference on Multimedia and Expo (ICME 2026)

Can We Unmask the Underground? Detecting and Predicting Hidden Forum Interactions

我们能揭露地下世界吗？检测和预测隐藏的论坛互动

Abdoul Nasser Hassane Amadou, Imane Fouad, Anas Motii

专题命中 其他LLM ：language model(abstract)

AI总结 提出无监督框架HADES，利用预训练语言模型对用户文本交互进行语义嵌入，聚类检测地下论坛中主导和隐藏的威胁社区，并在三个主要论坛上验证其有效性，可提前一年预测社区形成。

Comments Accepted at ARES 2026

Artists' Views on Robotics Involvement in Painting Productions

艺术家对机器人参与绘画创作的看法

Francesca Cocchella, Nilay Roy Choudhury, Eric Chen, Patrícia Alves-Oliveira

机构 * CONTACT Unit, Italian Institute of Technology（意大利理工学院联络单位） ； University of Michigan（密歇根大学） 纠错

专题命中 其他LLM ：prompting(abstract)

AI总结 通过八位抽象艺术家与机器人合作绘画的实证研究，发现人机协作更富趣味性和反思性，提供更大自主性，并激发克服系统限制的新策略。

Comments 10 pages, 9 figures, submitted to RAM special issue: Arts and Robotics