Dialogue Act Classification with Context-Aware Self-Attention
Grammarly
最近在Dialogue Act分类中的工作已经将任务视为使用分层深度神经网络的序列标记问题。我们建立在这个以前的工作,利用上下文感知的自我注意力机制的有效性,再加上一个层次循环神经网络。我们对标准对话法分类数据集进行了广泛的评估,并显示出对交换机对话法(SwDA)语料库的最新结果的显着改善。我们还研究了不同的话语级表示学习方法的影响,并表明我们的方法是有效的,在捕获话语级语义文本表示,同时保持高准确性。
2019-05-06 cs.CL
Entity-Aware Dual Co-Attention Network for Fake News Detection
National Taiwan University(台湾大学);AIST(日本产业技术综合研究所);Academia Sinica(中央研究院)
假新闻和错误信息在互联网上迅速传播。如何识别它,如何解释识别结果成为重要的问题。在本文中,我们提出了一种用于假新闻检测的双重共同注意力网络(Dual-CAN),它将新闻内容,社交媒体回复和外部知识考虑在内。我们的实验结果支持,建议双CAN优于目前的代表性模型在两个基准数据集。我们进一步做了深入的讨论,通过比较模型如何在两个数据集的注意力权重的实证分析。
2023-02-07 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University(乔治城大学);Adobe Research(奥多比研究院)
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型,用于对单个较长形式的文档(例如,研究论文)。我们的方法包括一个新的分层编码器,模型的话语结构的文档,和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明,我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
Context-Aware Cross-Attention for Non-Autoregressive Translation
The University of Sydney(悉尼大学);Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
非自回归翻译(NAT)通过预测整个目标序列来显著加速推理过程。然而,由于在解码器中缺乏目标依赖性建模,条件生成过程严重依赖于交叉注意。在本文中,我们揭示了一个本地感知问题的NAT交叉注意,这是很难充分捕捉源上下文。为了缓解这个问题,我们建议将相邻源令牌的信号增强为传统的交叉注意。在几个有代表性的数据集上的实验结果表明,我们的方法可以在强NAT基线上持续提高翻译质量。大量的分析表明,增强的交叉注意实现了更好地利用源上下文,利用本地和全球信息。
2020-11-02 cs.CL
Prior Attention for Style-aware Sequence-to-Sequence Models
Ghent University(根特大学);imec(imec校际微电子中心)
我们扩展序列到序列模型的可能性,以控制所生成的输出的特性或风格,通过注意力,这是从一个潜在的代码向量的先验(解码前)。在训练了初始的基于注意力的序列到序列模型之后,我们使用基于输入序列的表示和潜在代码向量空间的变分自动编码器来生成注意力矩阵。通过在解码期间从该潜在空间的特定区域采样代码向量,并在seq 2seq模型中施加由其生成的先前注意力,可以将输出转向具有某些属性。这是证明了句子简化的任务,其中的潜在代码向量允许控制输出长度和词汇简化,并使微调,以优化不同的评估指标。
2018-06-25 cs.CL
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Carnegie Mellon University(卡内基梅隆大学)
方面级情感分类旨在识别给定上下文句子的方面所表达的情感。以前的基于神经网络的方法在很大程度上忽略了一个句子中的句法结构。在本文中,我们提出了一种新的目标依赖图注意力网络(TD-GAT)的方面级别的情感分类,明确利用词之间的依赖关系。使用依赖图,它直接从方面目标的语法上下文传播情感特征。在我们的实验中,我们证明了我们的方法优于GloVe嵌入的多个基线。我们还证明,使用BERT表示进一步大幅提高性能。
2019-09-05 cs.CL
Entropy-Enhanced Multimodal Attention Model for Scene-Aware Dialogue Generation
Academia Sinica(中央研究院);National Taiwan University(国立台湾大学)
随着来自社交媒体的信息越来越多,可用的视频越来越多。因此,在视频上推理的能力很重要,值得讨论。The Dialog System Technology Challenge(DSTC 7)(Yoshino et al. 2018)提出了一种视听场景感知对话(AVSD)任务,该任务包含视频、对话历史、摘要和标题等五种模态,作为场景感知环境。在本文中,我们提出了熵增强的动态记忆网络(DMN),有效地模拟视频模态。该模型中基于注意力的GRU可以提高模型对序列信息的理解和记忆能力。熵机制可以更高地控制注意力分布,因此每个待回答的问题可以更具体地集中在一小组视频片段上。在熵增强的DMN确保视频上下文之后,我们应用注意力模型,该注意力模型结合摘要和标题来生成关于视频的问题的准确答案。在正式的评估中,我们的系统可以实现对发布的基线模型的主观和客观的评估指标的性能提高。
2019-08-22 cs.CL
Detecting Contextual Hallucinations in LLMs with Frequency-Aware Attention
Department of Informatics, King's College London, UK(伦敦国王学院信息学院);Department of Statistics, University of Warwick, UK(沃里克大学统计系);School of Computer Science, The University of Sheffield, UK(谢菲尔德大学计算机科学学院);The Alan Turing Institute, UK(艾伦·图灵研究所)
本文提出一种基于频率感知注意力的轻量级幻觉检测方法,通过分析生成过程中注意力的高频成分,有效识别幻觉token,提升了LLM在上下文生成中的可靠性。
2026-02-20 cs.CL
History-Aware Cross-Attention Reinforcement: Self-Supervised Multi Turn and Chain-of-Thought Fine-Tuning with vLLM
UC Berkeley, School of Information(伯克利大学信息学院)
本研究提出在vLLM上实现的CAGSR框架扩展CAGSR-vLLM-MTC,通过改造内核异步捕获注意力权重、泛化奖励函数适配多轮对话与思维链推理,还提出熵钳制机制防注意力崩塌,为相关后续研究提供方向。
2025-06-08 cs.CL
Knowledge-augmented Graph Neural Networks with Concept-aware Attention for Adverse Drug Event Detection
Aalto University(阿尔托大学)
针对现有药物不良事件文本检测方法未整合明确医学知识的问题,本研究引入统一医学语言系统知识增强异质文本图,提出概念感知注意力机制结合预训练嵌入与卷积图神经网络,在四个公开数据集上性能达先进水平且注意力机制更优。
2024-05-18 cs.CL
Earlier Attention? Aspect-Aware LSTM for Aspect-Based Sentiment Analysis
Meituan-Dianping Group(美团点评集团);Beijing Lab of Intelligent Information Technology(北京智能信息技术实验室);School of Computer Science & Technology, Beijing Institute of Technology(北京理工大学计算机学院)
基于语义的情感分析(ABSA)旨在预测评论对给定方面术语或类别的细粒度情感。在以前的ABSA方法中,方面的重要性已经得到了认识和验证。大多数现有的基于LSTM的模型通过注意力机制来考虑方面,其中注意力权重是在以上下文向量的形式对上下文建模之后计算的。然而,在上下文建模过程中,方面相关的信息可能已经被丢弃,而方面无关的信息可能保留在经典的LSTM单元中,这可以被改进以生成更有效的上下文表示。本文提出了一种新的LSTM变体,称为方面感知LSTM(AA-LSTM),它在注意力机制之前的上下文建模阶段将方面信息合并到LSTM单元中。因此,我们的AA-LSTM可以动态地产生方面感知的上下文表示。我们通过用AA-LSTM单元替换经典的LSTM单元,对几个代表性的基于LSTM的模型进行了实验。SemEval-2014数据集上的实验结果证明了AA-LSTM的有效性。
2019-07-07 cs.CL
Dynamic Time-Aware Attention to Speaker Roles and Contexts for Spoken Language Understanding
National Taiwan University(台湾大学)
口语语言理解是会话系统的重要组成部分。大多数SLU成分独立地处理每个话语,然后随后的成分在单独的阶段中聚合多话轮信息。为了避免错误传播并有效地利用上下文,先前的工作利用了上下文SLU的历史。然而,以前的模型只关注历史话语中的内容,而没有考虑其时间信息和说话人角色。在对话中,最近的话语应该比最近的话语更重要。此外,用户通常注意1)用于推理的自我历史和2)用于收听的其他人的话语,话语的说话者可以提供信息线索以帮助理解。因此,本文提出了一种基于注意力的网络,它还利用时间信息和说话人角色来获得更好的SLU,其中对上下文和说话人角色的注意力可以以端到端的方式自动学习。在对话状态跟踪挑战4(Dialogue State Tracking Challenge 4,DSTC 4)数据集上的实验表明,时间感知的动态角色注意网络显著提高了理解性能。
2017-12-08 cs.CL
Multi-step Joint-Modality Attention Network for Scene-Aware Dialogue System
Academia Sinica(中央研究院);Cornell Tech(康奈尔理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
理解动态场景和对话上下文以便与用户对话对于多模态对话系统来说是具有挑战性的。第八届对话系统技术挑战赛(DSTC 8)提出了一个视听场景感知对话(AVSD)任务,该任务包含包括音频、视觉和语言在内的多种模态,以评估对话系统如何理解不同的模态和对用户的响应。本文提出了一种基于递归神经网络(RNN)的多步联合模态注意力网络(JMAN)来对视频进行推理。我们的模型执行多步注意力机制,并在每个推理过程中共同考虑视觉和文本表示,以更好地整合来自两种不同模态的信息。与AVSD组织者发布的基线相比,我们的模型在ROUGE-L评分和CIDER评分上分别比基线提高了12.1%和22.4%。
2020-01-17 cs.CL
From Awareness to Adherence: Bridging the Context Gap in Spoken Dialogue Systems via Context-Aware Decoding
ECE, Seoul National University(首尔大学电气与计算机工程系);IPAI, Seoul National University(首尔大学IPAI研究所);Department of AI, University of Seoul(首尔市立大学人工智能系)
提出音频适配的上下文感知解码方法,通过对比有无关键上下文的输出分布,放大多模态上下文信号,解决口语对话系统中上下文遵循问题。
2026-06-16 cs.CL
Knowledge-aware Attention Network for Protein-Protein Interaction Extraction
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Foreign Languages, Dalian University of Technology(大连理工大学外国语学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
从已发表的科学文献中提取蛋白质-蛋白质相互作用(PPI)为精准医学工作提供了额外的支持。然而,目前的许多PPI提取方法需要大量的特征工程,不能充分利用知识库(KB)中的先验知识。知识库包含了大量的实体和关系的结构化信息,因此在PPI抽取中起着关键作用。本文提出了一种知识感知的注意力网络(KAN)融合蛋白质-蛋白质对的先验知识和上下文信息的PPI提取。该模型首先采用对角禁用的多头注意力机制编码上下文序列以及从知识库中学习的知识表示。然后,一个新的多维注意力机制被用来选择的功能,可以最好地描述编码的上下文。在BioCreative VI PPI数据集上的实验结果表明,该方法能够获得序列中不同单词之间的知识感知依赖关系,并获得新的性能。
2020-01-07 cs.CL
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Hanyang University(汉阳大学)
对句子中实体对之间的语义关系进行分类是自然语言处理的一项重要任务。大多数以前的关系分类模型依赖于由NLP工具获得的高级词汇和句法特征,如WordNet,依赖解析器,词性(POS)标记器和命名实体识别器(NER)。此外,基于注意力机制的最新神经模型没有充分利用实体的信息,而实体的信息可能是关系分类的最关键特征。为了解决这些问题,我们提出了一种新的端到端的递归神经模型,它结合了一个实体感知的注意力机制与潜在的实体类型(LET)的方法。我们的模型不仅有效地利用了实体及其潜在类型作为特征,而且通过可视化应用于我们的模型和LET结果的注意力机制,使其更具可解释性。在SemEval-2010 Task 8(最流行的关系分类任务之一)上的实验结果表明,我们的模型在没有任何高级特征的情况下优于现有的最先进的模型。
2019-01-23 cs.CL
Q-Interference: Memory-Efficient Phase-Aware Quantum-Inspired Attention
Kennesaw State University(肯尼索州立大学);Miami University(迈阿密大学);Georgia State University(佐治亚州立大学)
本研究提出Q-Interference,一种内存高效的相位感知量子启发注意力机制,通过精确三角分解避免大型中间张量,适配GPT架构,在基准实验中训练稳定且内存优势显著。
2026-08-19 cs.CL
Global-aware Beam Search for Neural Abstractive Summarization
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对传统束搜索存在的局部最优性问题,提出了一种基于束搜索的神经摘要算法,该算法具有全局注意力分布的意识。具体地说,提出了一种新的全球协议的基础上的注意力分配规定的全球最优假设应该如何参加的来源。然后,开发了全局评分机制来调节束搜索,从而以接近全局最优的方式生成摘要。这种新颖的设计具有独特的性质,即,可以在推断之前预测全局注意力分布,使得能够通过全局评分机制逐步改进束搜索。在九个数据集上的大量实验表明,即使使用经验超参数,全局(注意力)感知推理也显着改善了最先进的摘要模型。该算法也被证明是强大的,因为它仍然产生有意义的文本与腐败的注意力分布。代码和一套全面的例子是可用的。
2021-10-26 cs.CL
Decay-Function-Free Time-Aware Attention to Context and Speaker Indicator for Spoken Language Understanding
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
为了捕获对话的口语语言理解(SLU)的突出上下文信息,我们提出了时间感知模型,该模型自动学习历史的潜在时间衰减函数,而无需手动时间衰减函数。我们还提出了一种方法来识别和标记当前说话人,以提高SLU的准确性。在对话状态跟踪挑战4中使用的基准数据集上的实验中,所提出的模型比最先进的上下文模型获得了显著更高的F1分数。最后,我们详细分析了引入的模型的有效性。分析表明,所提出的方法是有效的,以提高SLU的精度。
2019-06-18 cs.CL
CrAM: Credibility-Aware Attention Modification in LLMs for Combating Misinformation in RAG
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Meta AI
针对RAG中外部文档错误信息误导LLM生成的问题,提出即插即用的CrAM方法,通过识别并调整注意力头权重来降低低可信度文档影响,在多个模型和数据集上性能提升超20%。
2024-12-17 cs.CL
Value-aware Approximate Attention
Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
随着点积注意力在Transformers中的成功,最近提出了许多近似来解决其关于输入长度的二次复杂性。然而,到目前为止,所有的近似都忽略了$\textit{value vectors}$对近似质量的贡献。在这项工作中,我们认为,研究工作应针对近似的注意力子层,其中包括价值向量的真实输出。我们提出了一个价值感知的目标,并从理论上和经验表明,一个价值感知的目标的最佳近似大大优于忽略值的最佳近似,在语言建模的上下文中。此外,我们发现,核函数的选择计算注意力相似性可以大大影响稀疏近似的质量,其中核函数是不太偏斜的值向量的影响更大。
2021-03-17 cs.CL cs.LG
Understanding Long Programming Languages with Structure-Aware Sparse Attention
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
基于编程的预训练语言模型(PPLM),如CodeBERT,在许多下游代码相关的任务中取得了巨大的成功。由于Transformer中自注意的存储器和计算复杂度随着序列长度二次增长,PPLM通常将代码长度限制为512。然而,在现实世界的应用程序中的代码通常是长的,如代码搜索,这不能有效地处理现有的PPLM。为了解决这个问题,在本文中,我们提出了SASA,结构感知稀疏注意力机制,它降低了复杂性,提高了长代码理解任务的性能。SASA中的关键组件是顶部$k$稀疏注意和基于抽象树(AST)的结构感知注意。利用top-$k$稀疏注意,可以以较低的计算代价获得最关键的注意关系.由于代码结构代表了代码语句的逻辑,是对代码序列特征的补充,因此我们进一步引入了AST结构。在CodeXGLUE任务上的大量实验表明,SASA比竞争基线实现了更好的性能。
2022-05-27 cs.AI cs.CL
Understanding Long Documents with Different Position-Aware Attentions
Carnegie Mellon University(卡内基梅隆大学);Microsoft Azure AI(微软Azure人工智能部门)
尽管在文档理解方面取得了一些成功,但由于计算和如何有效地吸收长多模态输入方面的几个挑战,长文档理解的实际任务在很大程度上未得到充分探索。目前大多数基于transformer的方法只处理短文档,并且由于其过高的计算和内存限制而仅采用文本信息来引起注意。为了解决长文档理解中的这些问题,我们探索了不同的方法来处理1D和新的2D位置感知注意,基本上缩短了上下文。实验结果表明,我们提出的模型具有优势,这项任务的基础上,各种评价指标。此外,我们的模型只对注意力进行更改,因此可以轻松地适应任何基于transformer的架构。
2022-08-17 cs.AI cs.CL
Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse
Institute for Artificial Intelligence, Peking University, Beijing(人工智能研究院,北京大学,北京);School of Integrated Circuits, Peking University, Beijing(集成电路学院,北京大学,北京)
本文通过理论和实证证明注意力汇聚自然构建了注意力层内的混合专家机制,并提出汇聚感知训练算法以缓解头部坍塌问题,提升模型性能。
2026-05-27 cs.CL cs.LG
Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension
Heidelberg University(海德堡大学)
在这项工作中,我们建议使用语言注释作为基础的\textit{Discourse-Aware Semantic Self-Attention}编码器,我们采用阅读理解长叙事文本。我们提取的话语单位,事件和他们的论点之间的关系,以及共指提及,使用现有的注释工具。我们的实证评估表明,调查结构提高了整体性能,特别是内部和跨部门的话语关系,内部语义角色关系,和长距离共指关系。我们发现,将自我注意力集中在内部关系和连接相邻句子的关系上,有利于在较长的上下文中找到问题的答案。我们的研究结果鼓励使用语篇语义标注来增强自我注意模型对阅读理解的泛化能力。
2019-08-28 cs.CL cs.LG
Attention-aware semantic relevance predicting Chinese sentence reading
University of Tübingen(蒂宾根大学)
本文提出注意力感知的语义相关性计算方法,结合上下文贡献与期望效应,能更准确预测中文阅读眼动注视时长,并支持语义预视效益的存在。
2024-03-27 cs.CL cs.LG
Position-aware Self-attention with Relative Positional Encodings for Slot Filling
Center for Information and Language Processing(信息与语言处理中心);Ludwig Maximilian University of Munich(慕尼黑大学)
本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层,考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现,该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力(不使用递归层或卷积层),同时提高了w.r.t.以前的艺术状态。
2018-07-09 cs.AI cs.CL cs.LG
Positional Encoding via Token-Aware Phase Attention
Meta
本文提出Token-Aware Phase Attention,通过可学习的相函数改进注意力机制,实现长距离token交互,支持更长上下文的持续预训练,并在长上下文场景下取得更低的困惑度和更强的检索性能。
2026-09-09 cs.AI cs.CL
Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分层注意力网络(HAN)已经取得了很大的进步,但它有一个主要的局限性:在第一层,每个句子都是完全孤立地编码的。在这项工作中,我们提出并比较了几个修改的HAN中的句子编码器能够上下文感知的注意力决策(CAHAN)。此外,我们提出了一个双向的文件编码器,处理文件的前进和后退,使用前后的句子作为上下文。在三个大规模情感和主题分类数据集上的实验表明,CAHAN的双向版本在任何地方都优于HAN,而计算时间只有适度的增加。虽然结果是有希望的,但我们预计CAHAN的优越性在需要更深入理解输入文档的任务(如抽象摘要)上会更加明显。代码是公开的。
2019-08-16 cs.CL cs.LG
Learning Slice-Aware Representations with Mixture of Attentions
Amazon Alexa AI(亚马逊Alexa人工智能部门)
现实世界的机器学习系统在粗粒度指标(如整体准确性和F-1分数)方面取得了显着的性能。然而,模型改进和开发通常需要对单个数据子集或切片进行细粒度建模,例如,模型结果不令人满意的数据切片。在实践中,它为开发这样的模型提供了切实的价值,这些模型可以在保留原始整体性能的同时,额外关注关键或感兴趣的切片。本文扩展了最近的基于切片的学习(SBL)~ \cite{chen2019slice}与混合注意(MoA)来学习切片感知的双重注意表示。我们的经验表明,MoA方法优于基线方法以及原始SBL方法对两个自然语言理解(NLU)任务的监控切片。
2021-06-04 cs.CL cs.LG
Tree Attention: Topology-aware Decoding for Long-Context Attention on GPU clusters
Zyphra(齐夫拉公司);EleutherAI(EleutherAI 研究机构)
本文提出Tree Attention算法,通过树形归约在多个GPU上并行化精确注意力计算,相比Ring Attention解码速度最高提升8倍,通信量和峰值内存显著降低,并在Llama 3.1-8B及多种硬件上验证了效果。
2025-02-09 cs.CL cs.LG
Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation
Maastricht University(马斯特里赫特大学)
本文提出基于梯度的注意力头归因方法,通过反向传播Token级最大边际损失,在上下文感知机器翻译中实现大规模因果分析,发现通用型注意力头并揭示注意力与性能的非必然关联。
2026-09-24 cs.AI cs.CL
Fine-grained Information Status Classification Using Discourse Context-Aware Self-Attention
IBM Research Ireland(IBM爱尔兰研究院)
先前关于桥接回指识别的工作(Hou等人,2013a)将问题转换为学习细粒度信息状态(IS)的子任务。然而,这些系统严重依赖于许多手工制作的语言特征。本文提出了一种用于细粒度IS分类的语篇上下文感知自注意神经网络模型。在ISNotes语料库上(Markert等人,2012),我们的模型与上下文编码的单词表示(BERT)(Devlin et al.,2018)在细粒度IS分类方面实现了新的最先进性能,与Hou等人(2013 a)相比,获得了4.1%的绝对整体准确性提高。更重要的是,我们还显示了3.9%F1的改进桥接回指识别,而不使用任何复杂的手工制作的语义功能,旨在捕捉桥接现象。
2019-08-13 cs.AI cs.CL
Tri-Attention: Explicit Context-Aware Attention Mechanism for Natural Language Processing
Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Brock University(布鲁克大学);University of Technology Sydney(悉尼科技大学)
在自然语言处理中,单词或句子的上下文起着至关重要的作用。上下文信息,如段落或历史对话的语义表示,构成了对话的重要组成部分,也是对当前短语或句子的准确理解。然而,标准的注意力机制通常使用查询和键生成权重,但忽略上下文,形成双注意力框架,尽管它们在建模序列比对方面取得了巨大的成功。这种双注意力机制没有明确地对目标序列的上下文、查询和键之间的交互进行建模,丢失了重要的上下文信息,导致注意力表现不佳。因此,一个新的和一般的三重注意力(三注意力)框架扩展了标准的双注意力机制,并显式地交互查询,关键字,上下文作为第三个维度在计算相关性分数。通过将Bi-Attention中基于二维向量的加法、点积、缩放点积和双线性运算扩展为Tri-Attention的张量运算,生成了Tri-Attention的四种变体。对三个NLP任务的广泛实验表明,Tri-Attention优于大约30种最先进的非注意力,标准的Bi-Attention,上下文Bi-Attention方法和预训练的神经语言模型。
2022-11-05 cs.AI cs.CL
Sequential Attention: A Context-Aware Alignment Function for Machine Reading
Center for Data Science(数据科学中心);New York University(纽约大学)
在本文中,我们提出了一个神经网络模型,它具有一个新的顺序注意层,通过为输入序列中的单词分配权重来扩展软注意力,这种方式不仅考虑了单词与查询的匹配程度,还考虑了周围单词的匹配程度。我们在阅读理解任务上(在谁做了什么和CNN数据集上)评估了这种方法,并表明它极大地提高了一个强大的基线-斯坦福阅读器-并且与最先进的水平竞争。
2017-06-26 cs.CL cs.LG
Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
Baidu Inc(百度公司)
本文提出流注意机制,通过动态层级路由优化注意力计算,提升大语言模型在长上下文场景下的推理效率,实验显示在预填和解码阶段速度提升达2.8倍和2.0倍。
2026-09-29 cs.CL cs.LG
Type-enhanced Ensemble Triple Representation via Triple-aware Attention for Cross-lingual Entity Alignment
Tongji University(同济大学)
针对现有实体对齐方法忽略三元组不可分割性与实体角色多样性的问题,提出TTEA框架,以关系为信息载体结合三元组注意力与实体增强,在三个跨语言数据集上性能优于SOTA方法。
2023-05-02 cs.AI cs.CL
Lend Me Your Eyes: Instruction-Aware Text Embeddings via Attention Relay
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出注意力中继(Attention Relay),无需训练即可将指令微调LLM的注意力权重传递给文本嵌入模型,使其具备指令感知能力,实验验证了其有效性和机制。
2026-10-06 cs.CL cs.LG
LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs
Openchip & Software Technologies, S.L(Openchip与软件技术公司)
LayerBoost通过层敏感性分析,选择性地调整Transformer层的注意力机制,减少计算复杂度,提升推理效率并保持模型质量。
2026-05-14 cs.CL cs.LG
SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning
University of Florida(佛罗里达大学)
视频描述主要研究两个基本概念:特征检测和特征合成。虽然现代Transformers在构成特征上是有益的,但它们缺乏对内容的选择和理解的基本问题。随着特征长度的增加,包括用于改进相关内容的捕获的规定变得越来越重要。在这项工作中,我们引入了一个新的概念,自我意识的组成Transformer(SACT),能够产生多项式注意力(MultAtt),这是一种生成各种组合的帧的分布。此外,多头注意力转换器Transformer的工作原理是将所有可能的注意力内容组合起来,这对自然语言分类很好,但对视频描述有局限性。视频内容具有重复,并且需要解析重要内容以更好地内容合成。在这项工作中,我们已经引入了SACT更多的选择性注意,并结合他们为不同的注意力头更好地捕捉可用的内容,为任何应用程序。为了解决多样化的问题,并鼓励选择性利用,我们提出了自感知组合Transformer模型密集的视频描述和应用技术的两个基准数据集,如ActivityNet和YouCookII。
2020-06-25 cs.CL cs.CV cs.NE
FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
Peking University(北京大学);The University of Hong Kong(香港大学);ByteDance Inc(字节跳动公司)
本文提出FlexPrefill,一种上下文感知的稀疏注意力机制,通过动态调整稀疏模式与计算预算,提升长序列推理中预填充阶段的效率与准确性。
2025-02-28 cs.CL cs.LG
Context-Aware Interaction Network for Question Matching
Baidu Inc.(百度公司);Rutgers University(罗格斯大学);Northeastern University(东北大学);HPI/University of Potsdam(HPI/波茨坦大学)
通过采用交叉注意力机制来捕捉两个句子表示之间的相关语义联系,在文本匹配中取得了令人印象深刻的里程碑。然而,常规的交叉注意集中在两个输入序列之间的词级链接,忽视了上下文信息的重要性。我们提出了一个上下文感知的交互网络(COIN),正确地对齐两个序列,并推断它们的语义关系。具体地,每个交互块包括(1)上下文感知交叉注意力机制,以在比对两个序列时有效地整合上下文信息,以及(2)门融合层,以灵活地内插比对的表示。我们应用多个堆叠的交互块来产生不同级别的对齐,并逐渐完善注意力结果。在两个问题匹配数据集上的实验和详细的分析证明了该模型的有效性。
2021-09-18 cs.AI cs.CL
Knowledge-aware Bayesian Co-attention for Multimodal Emotion Recognition
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体创新中心);Shanghai AI Laboratory(上海人工智能实验室)
多模态情感识别是一个具有挑战性的研究领域,旨在融合不同的模态来预测人类的情感。然而,大多数基于注意力机制的现有模型难以自己学习情感相关部分。为了解决这个问题,我们建议将外部情感相关知识纳入预训练模型的基于共同注意力的融合中。为了有效地结合这些知识,我们增强了共同注意力模型与贝叶斯注意力模块(BAM),其中先验分布估计使用的情感相关的知识。IEMOCAP数据集上的实验结果表明,该方法可以优于几个国家的最先进的方法,至少0.7%的未加权准确率(UA)。
2023-03-07 cs.CL cs.SD eess.AS
ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition
Microsoft(微软)
ChunkAttention通过前缀树共享多租户LLM请求的KV缓存,并采用两阶段划分自注意力内核,在1024-4096长度系统提示词下实现3.2-4.8倍加速。
2024-08-01 cs.CL cs.LG
FusionNet: Fusing via Fully-Aware Attention with Application to Machine Comprehension
Microsoft Business AI and Research(微软商业人工智能与研究院);National Taiwan University(台湾大学)
本文介绍了一种称为FusionNet的新神经结构,它从三个角度扩展了现有的注意力方法。首先,提出了一个新的概念“词的历史”来描述从最低的词级嵌入到最高的语义级表示的注意信息。其次,它引入了一个改进的注意力评分功能,更好地利用了“词的历史”的概念。第三,提出了一种完全感知的多层次注意力机制,以捕获文本(如问题)中的完整信息,并在对应文本(如上下文或段落)中逐层利用它。我们将FusionNet应用于斯坦福问答数据集(SQuAD),在撰写本文时(2017年10月4日),它在官方SQuAD排行榜上获得了单个和集成模型的第一名。同时,我们用两个对抗SQuAD数据集验证了FusionNet的泛化能力,并在两个数据集上建立了新的最先进的技术:在AddSent上,FusionNet将最佳F1度量从46.6%提高到51.4%;在AddOneSent上,FusionNet将最佳F1度量从56.0%提高到60.7%。
2018-02-04 cs.AI cs.CL
Encoding Database Schemas with Relation-Aware Self-Attention for Text-to-SQL Parsers
UC Berkeley(加州大学伯克利分校);Intel Labs(英特尔实验室)
当将自然语言问题转换为SQL查询来回答数据库中的问题时,我们希望我们的方法可以推广到训练集之外的域和数据库模式。为了使用神经编码器-解码器范例处理复杂的问题和数据库模式,将模式正确编码为问题输入的一部分至关重要。在本文中,我们在编码器中使用关系感知的自注意力,以便它可以推理所提供的模式中的表和列如何相互关联,并使用此信息来解释问题。我们在最近发布的Spider数据集上取得了显著的进步,精确匹配准确率为42.94%,而在已发表的工作中报告的准确率为18.96%。
2019-06-27 cs.CL cs.LG stat.ML
LatentLLM: Attention-Aware Joint Tensor Compression
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对LLM/LMM资源消耗大的问题,提出注意力感知的联合张量分解框架,将模型转为降维潜在结构,在降低维度时显著提升压缩模型的准确性,并在多模态推理等基准上验证了优势。
2025-05-23 cs.AI cs.CL cs.CV
HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention
Rutgers University(罗格斯大学);ByteDance Inc.(字节跳动公司)
大规模对比视觉语言预训练(CLIP)的成功使视觉识别和多模态内容理解受益匪浅。简洁的设计使CLIP在推理效率方面优于其他交叉注意融合层较重的视觉语言模型,使其成为广泛的下游任务的热门选择。然而,CLIP并没有明确地捕捉图像和文本中传达的高级和细粒度语义的层次性质,这对视觉语言理解和推理来说是至关重要的。为此,我们在CLIP的视觉和语言分支配备了层次感知注意力,即层次感知CLIP(HiCLIP),以无监督的方式从图像和文本中逐层逐步发现语义层次。因此,这种分层聚合显著改善了跨模态对齐。为了证明HiCLIP的优势,我们进行了定性分析,其无监督的层次归纳推理过程中,以及广泛的定量实验上的视觉识别和视觉语言的下游任务。
2023-03-06 cs.CL cs.CV cs.LG
Do Context-Aware Translation Models Pay the Right Attention?
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所);Unbabel
上下文感知的机器翻译模型被设计为利用上下文信息,但通常无法做到这一点。因此,他们不准确地消除歧义代词和多义词,需要上下文的决议。在本文中,我们提出了几个问题:人类译者使用什么语境来解决歧义词?模型是否对相同的上下文投入了大量的注意力?如果我们明确地训练他们这样做呢?为了回答这些问题,我们介绍了SCAT(支持上下文的歧义翻译),一个新的英语-法语数据集,包括支持上下文单词的14 K翻译,专业翻译发现有用的代词消歧。使用SCAT,我们进行了深入的分析,用于消除歧义,检查位置和词汇特征的支持词的上下文。此外,我们测量模型的注意力分数和SCAT的支持上下文之间的对齐程度,并应用引导注意力策略来鼓励两者之间的一致性。
2021-08-07 cs.AI cs.CL cs.LG
GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
National Cheng Kung University(国立成功大学)
本文解决了社交媒体上更真实场景下的假新闻检测问题。给定源短文本推文和相应的无文本评论的转推用户序列,我们的目标是预测源推文是否是假的,并通过突出可疑转推者及其关注的词的证据来产生解释。我们开发了一种新的神经网络为基础的模型,图形感知的协同注意力网络(GCAN),以实现这一目标。在真实的tweet数据集上进行的大量实验表明,GCAN的平均准确率可以显著超过最先进的方法16%。此外,案例研究也表明,GCAN可以产生合理的解释。
2020-04-24 cs.CL cs.LG stat.ML
Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models
Maastricht University(马斯特里赫特大学)
本文分析上下文感知机器翻译模型中注意力头对代词消歧的影响,发现部分头未充分利用,微调后准确率提升最多5个百分点。
2024-12-15 cs.AI cs.CL cs.LG
Fortify the Shortest Stave in Attention: Enhancing Context Awareness of Large Language Models for Effective Tool Use
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Alibaba Group(阿里巴巴集团)
本文提出 Attention Buckets 推理方法,通过多并行过程补偿注意力低谷,提升 LLM 上下文感知能力,在工具使用和 RAG 任务中达到与 GPT-4 相当的性能。
2024-06-04 cs.AI cs.CL cs.LG
Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers
本文提出 Graph-Aware Isomorphic Attention,将注意力机制重构为图操作,利用 GIN 和 PNA 增强关系结构表示,并引入 Sparse GIN-Attention 微调法,以更低开销提升预训练模型的图感知能力与泛化性。
2025-03-05 cond-mat.mes-hall cond-mat.mtrl-sci cs.AI
CoVA: Context-aware Visual Attention for Webpage Information Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
网页信息抽取是建立知识库的重要步骤。为此,经典的WIE方法利用网站的文档对象模型(DOM)树。然而,DOM树的使用带来了巨大的挑战,因为上下文和外观是以抽象的方式编码的。为了解决这一挑战,我们建议重新制定WIE作为一个上下文感知的网页目标检测任务。具体来说,我们开发了一个上下文感知的基于视觉注意力(CoVA)的检测管道,它结合了外观特征和DOM树的语法结构。为了研究这种方法,我们收集了一个新的大规模电子商务网站数据集,我们用四个标签手动注释每个Web元素:产品价格,产品标题,产品图像和背景。在这个数据集上,我们证明了所提出的CoVA方法是一个新的具有挑战性的基线,它改进了现有的最先进的方法。
2021-10-24 cs.AI cs.CL cs.CV