Learning What Matters: Causal Evidence Sets for Global Context Pruning
研究检索任务中注意力与答案因果依赖的关系,发现二者常不一致。提出用因果证据集监督稀疏注意力路由,无需注释,能让选择器训练到更高准确率,在预训练模型中也验证了该方法的有效性。
2026-10-14 cs.CL cs.LG
Reasoning Models Don't Always Say What They Think
Alignment Science Team, Anthropic(Anthropic对齐科学团队)
本文评估了最先进推理模型思维链的忠实性,发现模型对提示使用的揭示率常低于20%,且强化学习导致的奖励黑客行为不会提高语言化倾向,表明思维链监控不足以排除不良行为。
2025-05-08 cs.AI cs.CL cs.LG
DRAFT-What you always wanted to know but could not find about block-based environments
Eindhoven University of Technology(埃因霍温理工大学);CWI(荷兰数学与计算机科学研究学会)
基于块的环境是可视化编程环境,由于其易用性而变得越来越流行。易用性得益于其直观的图形表示和结构隐喻(拼图般的拼图),以向用户显示语言结构的有效组合。当前基于块的环境的流行部分归功于Scratch。因此,它们往往与儿童或年轻学习者的工具联系在一起。然而,目前还不清楚这些类型的编程环境通常是如何开发和使用的。因此,我们通过研究2014年至2020年间发表的152篇论文,对基于块的环境进行了系统的文献综述,并对32个基于块的环境进行了非系统的工具综述。特别是,我们为不同主题和领域的最终用户提供了一个有用的基于块的编辑器清单。同样,我们专注于识别基于块的环境的主要组件,它们是如何设计的,以及它们是如何使用的。这项调查对语言工程研究人员和语言工程师同样有帮助。
2021-10-06 cs.CL cs.HC cs.SE
What Dense Graph Do You Need for Self-Attention?
Fudan University(复旦大学);Peng Cheng Laboratory(鹏城实验室)
Transformers在各种任务中取得了进展,但受到二次计算和存储器复杂性的影响。最近的工作提出了稀疏Transformers与稀疏图的关注,以降低复杂性和保持强大的性能。虽然有效,但图需要多密集才能表现良好的关键部分尚未得到充分探索。在本文中,我们提出了归一化信息负载(NIP),图评分函数测量图上的信息传输,它提供了一个分析工具,性能和复杂性之间的权衡。在此理论分析的指导下,我们提出了超立方体Transformer,一个稀疏的Transformer模型令牌的相互作用在一个超立方体和香草Transformer,同时产生$O(N\log N)$的复杂性与序列长度$N$相比,表现出相当甚至更好的结果。在需要不同序列长度的任务上进行的实验验证了我们的图功能。
2022-10-12 cs.AI cs.CL cs.LG
Know What You Don't Need: Single-Shot Meta-Pruning for Attention Heads
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
深度预训练的Transformer模型在各种自然语言处理(NLP)任务中取得了最先进的结果。通过学习具有数百万个参数的丰富语言知识,这些模型通常是过度参数化的,并显着增加了应用程序中的计算开销。通过模型压缩来解决这个问题是直观的。在这项工作中,我们提出了一种名为Single-Shot Meta-Pruning的方法,用于在微调之前压缩深度预训练的Transformers。具体来说,我们专注于修剪不必要的注意头自适应不同的下游任务。为了测量注意头的信息量,我们训练我们的单镜头元修剪(SMP)与元学习范式,旨在保持修剪后的文本表示的分布。与现有的预训练模型压缩方法相比,我们的方法可以减少微调和推理的开销。实验结果表明,我们的修剪器可以选择性地修剪50%的注意力头,对下游任务的性能影响不大,甚至提供更好的文本表示。源代码将在未来发布。
2020-11-07 cs.CL
Not all parameters are born equal: Attention is mostly what you need
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);United Kingdom(英国)
Transformers广泛应用于最先进的机器翻译中,但其成功的关键仍然是未知的。为了深入了解这一点,我们考虑三组参数:嵌入,注意力和前馈神经网络(FFN)层。我们通过执行消融研究来检查每个的相对重要性,在消融研究中,我们随机初始化它们并冻结它们,以便它们的权重在训练过程中不会改变。通过这一点,我们证明了注意力和FFN同样重要,并且在模型中实现了相同的功能。我们表明,关于组件是否被冻结或允许训练的决定对于最终模型性能至少与其参数数量一样重要。同时,参数的数量本身并不能表明一个组成部分的重要性。最后,虽然嵌入层对于机器翻译任务来说是最不重要的,但它是语言建模任务中最重要的组件。
2021-09-21 cs.CL
What Matters in Transformers? Not All Attention is Needed
University of Maryland, College Park(马里兰大学帕克分校)
本文研究Transformer中注意力层与MLP层的冗余问题,发现大量注意力层可被剪枝且性能损失极小,并提出联合丢弃注意力层和MLP层的方法,在保持性能的同时显著提升推理效率。
2024-10-17 cs.AI cs.CL cs.LG
Attention Is Not Always the Answer: Optimizing Voice Activity Detection with Simple Feature Fusion
Sony Research India(索尼印度研究院)
本文提出FusionVAD框架,通过拼接、加法和交叉注意力融合MFCCs与多种预训练模型特征,发现简单加法融合在准确性和效率上优于交叉注意力,并在多个数据集上超越Pyannote,平均绝对提升2.04%。
2025-06-02 cs.CL cs.SD eess.AS
Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
Georgetown University(乔治城大学);The Ohio State University(俄亥俄州立大学);UC San Diego(加州大学圣迭戈分校)
该研究在不同模型规模与训练语料下系统比较多种注意力记忆机制,发现对中间词元内容敏感的约束与人类阅读时间匹配度最高,且动态记忆课程下心理测量拟合度与语法能力存在分离,提示Transformer无法作为通用认知模型。
2026-10-26 cs.CL
What Attention Recalls and Recurrence Controls in Hybrid Language Models
YSDA;AIRI;HSE University(高等经济大学)
该研究通过两种缓存级干预方法,揭示混合语言模型中注意力与循环通道的功能划分,证实注意力负责精确检索、循环控制输出风格的作用。
2026-09-07 cs.CL
Are queries and keys always relevant? A case study on Transformer wave functions
International School for Advanced Studies(国际高等研究学院);University of Trieste(的里雅斯特大学)
本研究针对Transformer注意力机制在量子多体自旋哈密顿量基态变分波函数参数化中的应用展开,发现仅依赖位置的简化注意力可在降低成本的同时取得有竞争力的结果,且优化后标准注意力权重与输入无关,为大系统研究省略查询和键提供了物理依据。
2025-01-13 cond-mat.dis-nn cs.CL physics.comp-ph
If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation?
The University of Tokyo(东京大学);NINJAL;The University of Osaka(大阪大学)
本文研究以句法结构为表征单元的 Transformer Grammar 注意力机制能否作为人类记忆提取的认知模型,实验表明其预测自定步速阅读时间优于普通 Transformer,且两类模型贡献独立,说明人类句子加工依赖句法结构与词元序列双重记忆表征。
2025-06-01 cs.CL
Pay Attention to What Matters
Huawei Technologies(华为技术有限公司);École Polytechnique(巴黎综合理工学院);Yale University(耶鲁大学)
本文提出GUIDE方法,通过提高指令token的注意力分数来增强LLM的指令遵循能力,并引入Influence度量分析指令传播,实验显示准确率提升29.4%至60.4%,优于自然提示和监督微调。
2024-09-19 cs.AI cs.CL
LLMs Know What to Drop: Self-Attention Guided KV Cache Eviction for Efficient Long-Context Inference
SambaNova Systems, Inc(桑巴诺瓦系统公司)
本文提出SAGE-KV方法,利用自注意力稀疏性在token和头级别进行一次性top-k选择来压缩KV缓存,在LongBench上以更高内存效率保持与全注意力相当的准确性。
2025-03-11 cs.AI cs.CL cs.LG
Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting
NYU Alignment Research Group(纽约大学对齐研究组);Cohere(Cohere公司);Anthropic(Anthropic公司)
本文揭示CoT解释会受输入偏置特征系统性影响却不被模型提及,导致模型为错误或偏见答案合理化,证明其看似可信但不忠实。
2023-12-09 cs.AI cs.CL
Pay Attention to What You Need
针对大语言模型长上下文理解能力不足的问题,本文提出Scaled ReAttention(SRA)方法,在推理阶段调整注意力分数以增强信息检索能力,无需额外训练即可提升多种下游任务性能。
2025-02-22 cs.AI cs.CL
Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention
St. John Fisher University(圣约翰费舍尔大学)
本研究提出并验证了软注意力缺失的两种原语——弃权(不执行)与噪声过滤,发现其收益随模型规模呈相反趋势,且两者结合在10M至350M参数规模上均达到最优性能。
2026-09-30 cs.CL cs.LG
IDS at SemEval-2020 Task 10: Does Pre-trained Language Model Know What to Emphasize?
Seoul National University(首尔大学)
我们提出了一种新的方法,使我们能够确定值得强调的文字从书面文字在视觉媒体,只依赖于信息的自我注意力分布的预训练语言模型(PLM)。通过大量的实验和分析,我们表明:1)我们的zero-shot方法是优于一个合理的基线,采用TF-IDF和2)有几个注意力头在PLM专门用于强调选择,确认PLM是能够识别句子中的重要单词。
2020-07-24 cs.CL
Is Attention always needed? A Case Study on Language Identification from Speech
Department of Computer Science and Engineering, Jadavpur University(计算机科学与工程系,贾达沃大学);Wipro AI Lab, Wipro India Limited(惠普AI实验室,惠普印度有限公司);School of Languages and Linguistics, Jadavpur University(语言学系,贾达沃大学)
本研究提出了一种基于CRNN的语音语言识别方法,通过比较CNN和带注意力机制的CRNN,实现了对多种印度语言的高准确率识别,并在噪声环境下表现出良好的鲁棒性。
2023-10-25 cs.CL cs.LG cs.SD
What Do Recurrent Neural Network Grammars Learn About Syntax?
Carnegie Mellon University(卡内基梅隆大学);IBM T.J. Watson Research Center(IBM T.J. Watson研究中心);University of Washington(华盛顿大学);DeepMind
循环神经网络文法(RNNG)是最近提出的一种用于自然语言的概率生成建模方法。它们展示了最先进的语言建模和解析性能。我们从语言学的角度,通过对模型和数据的各种消融,以及通过用注意力机制(GA-RNNG)增强模型以进行更仔细的检查,来研究他们学到了什么信息。我们发现,明确建模的组成是至关重要的,以实现最佳性能。通过注意力机制,我们发现头脑在短语表征中起着核心作用(模型的潜在注意力在很大程度上与手工制定的头脑规则所做的预测一致,尽管有一些重要的差异)。通过训练没有非终端标签的语法,我们发现短语表示最小程度地依赖于非终端,为内核假设提供了支持。
2017-01-10 cs.CL
Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司)
本研究提出即插即用的大语言模型自适应KV缓存压缩方法FastGen,通过剖析注意力结构差异化构建缓存,无需重训练即可大幅降低GPU内存占用且几乎不损失生成质量。
2024-10-29 cs.CL
SpectFormer: Frequency and Attention is what you need in a Vision Transformer
Microsoft(微软);University of Bath(巴斯大学)
本文提出SpectFormer,将频谱层与多头注意力层结合用于视觉Transformer,在ImageNet-1K上小型版本达84.25%、基础版本达85.7%的top-1准确率,并在迁移学习和下游检测分割任务中表现优异。
2023-04-14 cs.AI cs.CL cs.CV
Pooling And Attention: What Are Effective Designs For LLM-Based Embedding Models?
The Hong Kong University of Science and Technology(香港科技大学)
本文通过统一数据和基础模型的大规模实验,系统比较不同池化与注意力策略对LLM嵌入模型的影响,并提出多层可训练池化方法,在文本相似度和检索任务中取得统计显著提升。
2024-09-05 cs.CL cs.IR
Attention, Please! PixelSHAP Reveals What Vision-Language Models Actually Focus On
Nexar(奈克萨(Nexar))
PixelSHAP 是一个与模型无关的框架,通过扰动图像对象并量化其对视觉-语言模型响应的影响来增强可解释性,无需模型内部信息,已在自动驾驶中验证。
2025-03-09 cs.CL cs.CV
How Lexical Gold Standards Have Effects On The Usefulness Of Text Analysis Tools For Digital Scholarship
KTH Royal Institute of Technology(瑞典皇家理工学院);Gavagai
本文介绍了当前的词汇相似性和类比金标准是如何建立的,以符合某些想法,他们的目的是评估模型的使用。主题相关性一直是信息访问工具和相关语言技术技术最重要的目标概念,虽然这已被证明是信息技术用于的大部分内容的有用起点,但它并不总是与技术的其他用途保持一致,最明显的是人文或社会科学中的数字奖学金用例。本文主张从数字人文和社会科学的需求更系统的制定和模型设计的假设基础更明确的描述。
2021-05-31 cs.CL
What the DAAM: Interpreting Stable Diffusion Using Cross Attention
University College London(伦敦大学学院);Comcast Applied AI(康卡斯特应用人工智能研究院);University of Waterloo(滑铁卢大学)
大规模扩散神经网络代表了文本到图像生成的重要里程碑,但它们仍然知之甚少,缺乏可解释性分析。在本文中,我们对最近开源的模型Stable Diffusion进行了文本-图像归因分析。为了生成像素级的归因图,我们在去噪子网络中放大和聚合交叉注意词像素分数,将我们的方法命名为DAAM。我们通过测试其对名词的语义分割能力,以及其对所有词性的广义属性质量来评估其正确性。然后,我们应用DAAM来研究语法在像素空间中的作用,表征头部依赖热图交互模式的10个常见的依赖关系。最后,我们使用DAAM研究了几种语义现象,重点是特征纠缠,我们发现共下义词恶化生成质量和描述性形容词参加太广泛。据我们所知,我们是第一个从视觉语言学的角度来解释大型扩散模型,这使得未来的研究路线。我们的代码在https://github.com/castorini/daam。
2022-12-08 cs.CL cs.CV
Multi-Task Learning for Sequence Tagging: An Empirical Study
University of Southern California(南加州大学)
我们研究了三种通用的多任务学习(MTL)方法对11个序列标记任务。我们广泛的实证结果表明,在大约50%的情况下,联合学习所有11个任务提高了独立或成对学习的任务。我们还表明,成对MTL可以告诉我们什么任务可以使他人受益,或者什么任务可以受益,如果他们共同学习。特别是,我们确定了总是能使他人受益的任务,以及总是能被他人伤害的任务。有趣的是,我们的MTL方法之一产生嵌入的任务,揭示了语义和句法任务的自然聚类。我们的调查已经为在NLP中进一步利用MTL打开了大门。
2018-08-13 cs.CL
Wisdom is Knowing What not to Say: Hallucination-Free LLMs Unlearning via Attention Shifting
Faculty of Information Technology, Monash University(墨尔本大学信息科技学院);Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center, Qilu University of Technology (Shandong Academy of Sciences)(教育部计算能力网络与信息安全重点实验室,山东计算机科学中心,齐鲁大学(山东科学院));Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science(山东省计算能力互联网与服务计算重点实验室,山东省计算机科学基础研究中心);School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院)
本文提出注意力转移框架,通过保留上下文抑制和抗幻觉响应塑造,提升LLM去学习效果,在保持性能的同时减少幻觉响应。
2026-04-17 cs.CL
Magnifying What Matters: Attention-Guided Adaptive Rendering for Visual Text Comprehension
Michigan State University(密歇根州立大学);Xi’an Jiaotong University(西安交通大学)
针对视觉语言模型在视觉文本理解任务中存在的定位与利用脱节问题,提出无需训练、模型无关的注意力引导自适应渲染方法AGAR,通过放大关键文本跨度提升模型性能。
2026-06-12 cs.CL cs.CV
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh(爱丁堡大学信息学院 speech 技术研究中心)
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而,由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应,并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何,注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中,我们将注意力权重和对齐之间的对应关系视为一个学习问题,通过施加监督注意力损失。实验已经显示出显着的改进性能,这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
ARWKV: Pretrain is not what we need, an RNN-Attention-Based Language Model Born from Transformer
本文提出基于RWKV-7注意力机制的ARWKV模型及QRWK 32B蒸馏方法,利用16块AMD MI300X GPU在8小时内完成知识处理,在保持Qwen 2.5性能的同时增强了RNN的表达能力。
2025-01-26 cs.CL
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
Alibaba Token Hub, Alibaba Group(阿里巴巴集团,阿里巴巴Token Hub)
本综述通过五维视角分析大型语言模型中注意力机制的演变,揭示显式记忆与循环方法融合、跨层协调及多维记忆路由假设,强调高效架构设计正转向上下文记忆的组织与选择性使用。
2026-10-01 cs.CL
CompressKV: Semantic Retrieval Heads Know What Tokens are Not Important Before Generation
CompressKV通过识别语义检索头来确定重要令牌并保留其KV缓存,采用层自适应分配策略,在长上下文基准上超越现有方法。
2025-08-04 cs.AI cs.CL