Be More with Less: Hypergraph Attention Networks for Inductive Text Classification
Arizona State University(亚利桑那州立大学);Texas A&M University(得克萨斯农工大学);University of Virginia(弗吉尼亚大学);Amazon Inc.(亚马逊公司)
文本分类是自然语言处理中一个重要的研究课题,具有广泛的应用前景。最近,图神经网络(GNNs)在研究界受到越来越多的关注,并在这个典型的任务上展示了他们有前途的结果。尽管取得了成功,但它们的性能在实践中可能会受到很大程度的影响,因为它们:(1)无法捕获单词之间的高阶交互;(2)处理大型数据集和新文档的效率低下。为了解决这些问题,本文提出了一种基于超图注意力网络(Hypergraph Attention Networks,HyperGAT)的文本表示学习模型。在各种基准数据集上的大量实验证明了该方法在文本分类任务上的有效性。
2020-11-01 cs.CL
Resilient Combination of Complementary CNN and RNN Features for Text Classification through Attention and Ensembling
Swisscom AG(瑞士电信股份公司)
现有的文本分类方法包括预处理、特征提取和后处理等几个不同的步骤。在这项工作中,我们专注于端到端的神经架构,并表明文本分类的最佳性能是通过组合来自不同神经模块的信息来获得的。具体地说,我们结合卷积,经常性和注意模块集成方法,并表明它们是互补的。我们介绍ECGA,一个端到端的去到架构的新颖的文本分类任务。我们证明了它是有效的和强大的,因为它达到或超过了最先进的各种数据集,包括低和高的数据制度。
2019-03-28 cs.CL
A Simple and Effective Approach for Fine Tuning Pre-trained Word Embeddings for Improved Text Classification
Center of Informatics Sciences, Nile University(尼罗河大学信息科学中心)
这项工作提出了一种新的和简单的方法微调预训练的词嵌入的文本分类任务。在这种方法中,术语出现的类在微调过程中充当额外的上下文变量,并为该术语的最终词向量做出贡献。因此,在特定类别中有区别地使用的单词将承载在嵌入空间中彼此更接近的向量,并且将对该类别更具歧视性。为了验证这种新的方法,它被应用到三个阿拉伯语和两个英语数据集,以前已用于文本分类任务,如情感分析和情感检测。在绝大多数情况下,使用所提出的方法获得的结果,大大改善。
2019-12-16 cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
A Chinese Text Classification Method With Low Hardware Requirement Based on Improved Model Concatenation
Zhiwei Research Institute(智微研究院);University of Melbourne(墨尔本大学)
为了提高中文文本分类模型在低硬件要求下的准确率,本文设计了一种改进的基于级联的模型,该模型由TextCNN、LSTM和Bi-LSTM等5个子模型级联而成。与现有的集成学习方法相比,对于一个文本分类任务,该模型的准确率提高了2%。同时,该模型对硬件的要求也远低于基于BERT的模型。
2021-11-12 cs.CL cs.LG
IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics(上海财经大学)
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前,忽略了标签文本中包含的暗示性信息。事实上,人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构,通过连体的BERT和名为IDEA(Interactive DoublE Attentions)的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息,这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法,具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Entity-Aware Biaffine Attention Model for Improved Constituent Parsing with Reduced Entity Violations
Henan Institute of Technology(河南科技学院)
针对成分句法分析中的实体违规问题,提出实体感知双仿射注意力模型,通过引入实体角色向量提升分析准确率,并使用新指标EVR量化违规程度,在多数据集上实现最低EVR且保持高F1分数。
2024-11-12 cs.AI cs.CL
AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification
Fudan University(复旦大学);Kyoto University(京都大学);Aalto University(阿尔托大学)
极端多标签文本分类(XMTC)是大数据时代的一个重要问题,用于从超大规模的标签集中使用最相关的多个标签标记给定的文本。XMTC可以在许多应用中找到,例如项目分类、网页标记和新闻注释。传统的方法大多使用词袋(BOW)作为输入,忽略了词的上下文以及深层语义信息。最近通过深度学习克服BOW问题的尝试仍然存在以下问题:1)未能捕获每个标签的重要潜台词; 2)缺乏针对大量标签的可扩展性。我们为XMTC提出了一种新的基于标签树的深度学习模型,称为AttentionXML,具有两个独特的功能:1)以原始文本为输入的多标签注意力机制,可以捕获文本中与每个标签最相关的部分; 2)浅而宽的概率标签树(PLT),可以处理数百万个标签,特别是“尾部标签”。我们在六个基准数据集上实证比较了AttentionXML与八种最先进方法的性能,包括Amazon-3 M约300万个标签。在所有实验设置下,AttentionXML的性能优于所有竞争方法。实验结果还表明,AttentionXML在基于标签树的方法中对尾部标签的性能最好。代码和数据集可在http://github.com/yourh/AttentionXML上获得。
2019-11-04 cs.CL cs.LG
Text Classification based on Multi-granularity Attention Hybrid Neural Network
China University of Political Science and Law(中国政法大学);University of Science and Technique of China(中国科学技术大学)
基于神经网络的方法已经成为自然语言处理(NLP)任务的驱动力。传统上,NLP任务有两种主流神经架构:递归神经网络(RNN)和卷积神经网络(ConvNet)。RNN擅长对输入文本的长期依赖关系进行建模,但排除了并行计算。ConvNets没有内存能力,它必须将顺序数据建模为无序特征。因此,ConvNets无法学习输入文本的顺序依赖关系,但它能够进行高效的并行计算。由于RNN和ConvNets等每种神经架构都有自己的优点和缺点,因此不同架构的集成被认为能够丰富文本的语义表示,从而提高NLP任务的性能。然而,很少有调查探讨这些看似不兼容的架构的和解。为了解决这个问题,我们提出了一种混合架构的基础上,一种新的分层多粒度的注意力机制,命名为多粒度的基于注意力的混合神经网络(MahNN)。注意力机制是对输入序列的不同部分分配不同的权重,以提高神经模型的计算效率和性能。在MahNN中,引入了两种类型的注意:句法注意和语义注意。句法注意力计算较低符号层次的句法元素(如单词或句子)的重要性,语义注意力计算较高层潜在语义对应的嵌入空间维度的重要性。我们采用文本分类作为例证的方式来说明MahNN理解文本的能力。
2020-08-12 cs.AI cs.CL
An Improved Text Sentiment Classification Model Using TF-IDF and Next Word Negation
随着文本情感分析的快速发展,对电子文档自动分类的需求也在飞速增长。文本分类或文本挖掘的范式是近年来许多研究工作的主题。在本文中,我们提出了一种文本情感分类技术,使用词频-逆文档频率(TF-IDF)以及下一个词否定(NWN)。我们还比较了二进制词袋模型,TF-IDF模型和TF-IDF与下一个词否定(TF-IDF-NWN)模型的文本分类性能。我们提出的模型,然后应用于三种不同的文本挖掘算法,我们发现线性支持向量机(LSVM)是最适合与我们提出的模型。所取得的结果表明,与早期的方法相比,准确性显着增加。
2018-06-17 cs.CL cs.IR
Short Text Classification Improved by Feature Space Extension
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
随着移动互联网的爆炸式发展,短文本得到了广泛的应用。短文本分类与长文档分类的区别在于短文本具有短小、稀疏的特点。因此,它是具有挑战性的处理短文本分类,由于其较少的语义信息。本文基于潜在狄利克雷分配(LDA)模型和卷积神经网络,提出了一种新的基于主题的卷积神经网络(TB-CNN)。与传统的CNN方法相比,TB-CNN采用LDA模型生成主题词,降低主题词的稀疏性,并结合主题词和输入词的嵌入向量,扩展短文本的特征空间。在IMDB电影评论数据集上的验证结果表明了TB-CNN的改进和有效性。
2019-04-02 cs.CL cs.IR
Text Classification with Lexicon from PreAttention Mechanism
School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院)
在传统的文本分类方法中,一个全面的、高质量的词典起着至关重要的作用。提高了语言知识的利用率。虽然它对任务是有帮助的,但在最近的神经网络模型中,词汇很少受到关注。首先,获得高质量的词典并不容易。我们缺乏有效的自动化词典提取方法,大多数词典都是手工制作的,这对于大数据来说效率非常低。更重要的是,在神经网络中没有一种有效的方法来使用词典。针对这些局限性,本文提出了一种用于文本分类的预注意力机制,它可以根据不同单词在分类任务中的作用来学习它们的注意力。不同关注度的词可以组成一个领域词典。在三个基准文本分类任务上的实验表明,与现有的方法相比,我们的模型得到了有竞争力的结果。我们在Stanford Large Movie Review数据集上获得了90.5%的准确率,在Subjectivity数据集上获得了82.3%的准确率,在Movie Reviews上获得了93.7%的准确率。与没有引入预注意力机制的文本分类模型相比,引入预注意力机制的文本分类模型准确率提高了0.9%~ 2.4%,证明了预注意力机制的有效性。此外,预注意力机制表现良好,随后是不同类型的神经网络(例如,卷积神经网络和长短期记忆网络)。对于同一个数据集,当我们使用预注意力机制获取不同神经网络所遵循的注意力值时,那些具有高注意力值的单词具有很高的重合度,这证明了预注意力机制的通用性和可移植性。利用注意值可以得到稳定的词汇,是一种…
2020-02-18 cs.CL cs.LG
CMA-CLIP: Cross-Modality Attention CLIP for Image-Text Classification
Stony Brook University(石溪大学);Amazon Inc.(亚马逊公司)
社交媒体和电子商务等现代Web系统包含以图像和文本表达的丰富内容。利用来自多模态的信息可以提高分类和推荐等机器学习任务的性能。在本文中,我们提出了跨模态注意力对比存储-图像预训练(CMA-CLIP),一个新的框架,它统一了两种类型的跨模态注意力,序列式注意力和模态式注意力,有效地融合信息的图像和文本对。序列式注意力使框架能够捕获图像块和文本标记之间的细粒度关系,而模态式注意力则通过其与下游任务的相关性来衡量每个模态。此外,通过添加任务特定的模态明智的注意力和多层感知器,我们提出的框架是能够执行多任务分类与多模态。我们在一个主要零售网站产品属性(MRWPA)数据集和两个公共数据集Food 101和Fashion-Gen上进行了实验,结果表明,CMA-CLIP在MRWPA数据集上进行多任务分类时,在相同的精度水平下,在召回率上平均优于预训练和微调的CLIP 11.9%。它的准确性也超过了Fashion-Gen数据集上最先进的方法5.5%,并在Food 101数据集上实现了竞争性性能。通过详细的消融研究,我们进一步证明了跨模态注意模块的有效性和我们的方法对图像和文本输入中的噪声的鲁棒性,这是实践中的一个共同挑战。
2021-12-09 cs.CL cs.CV cs.LG
Hierarchical Attention Model for Improved Machine Comprehension of Spoken Content
National Taiwan University(国立台湾大学)
多媒体或语音内容比纯文本内容呈现更有吸引力的信息,但是前者更难以在屏幕上显示并被用户选择。因此,对于人类来说,访问前者的大量集合比后者更困难和耗时。因此,开发能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这一努力中,最近提出了一个新的任务,机器理解的口语内容。最初的目标被定义为托福的听力理解测试,这是一项针对母语不是英语的英语学习者的具有挑战性的学术英语考试。提出了一种基于注意力的多跳递归神经网络(AMRNN)结构,该结构只考虑语音话语中的顺序关系。在本文中,我们提出了一个新的层次注意力模型(HAM),它构建了一个多跳的注意力机制的树结构,而不是顺序表示的话语。提高理解性能稳健的ASR错误。
2017-01-01 cs.CL
Automatic Text Extractive Summarization Based on Graph and Pre-trained Language Model Attention
Peking University(北京大学)
将文本表示为图以获得自动文本摘要已经研究了十多年。随着自然语言处理(NLP)中注意力或注意力转换器(Transformer)的发展,在文本的图形和注意力结构之间建立联系成为可能。本文采用文本句子间的注意力矩阵作为文本全连通图的加权邻接矩阵,通过预训练的语言模型生成。GCN进一步应用于文本图模型,对每个节点进行分类,并从文本中找出显著句子。在两个典型数据集上的实验结果表明,与现有的模型相比,该模型可以获得具有竞争力的结果。
2022-07-26 cs.CL
Hierarchical RNN with Static Sentence-Level Attention for Text-Based Speaker Change Detection
Peking University(北京大学);AdeptMind Research(AdeptMind研究院)
说话人切换检测是对话建模中的一项重要任务。我们的论文解决了基于文本的SCD的问题,它不同于现有的基于音频的研究,并且在各种场景中是有用的,例如,处理说话者身份缺失的对话记录(例如,OpenSubtitle),以及用文本信息增强音频SCD。我们制定了基于文本的SCD作为一个匹配问题的话语之前和之后的某个决策点,我们提出了一个分层递归神经网络(RNN)与静态的注意力水平。实验结果表明,神经网络始终实现更好的性能比基于特征的方法,我们的注意力为基础的模型显着优于非注意力神经网络。
2018-09-28 cs.CL
YAD: Leveraging T5 for Improved Automatic Diacritization of Yorùbá Text
University of Ibadan(伊巴丹大学);University College London(伦敦大学学院);Saarland University(萨尔大学)
本文提出YAD基准数据集,并通过预训练约鲁巴语T5模型证明其在自动变音符号标注上优于多语言T5模型,同时验证了更多数据和更大模型能进一步提升标注效果。
2024-12-28 cs.CL
Multilevel Text Alignment with Cross-Document Attention
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
文本对齐在引用推荐和剽窃检测等任务中得到应用。现有的对齐方法在单个预定义级别上操作,并且不能学习在例如句子和文档级别上对齐文本。我们提出了一种新的学习方法,装备以前建立的层次注意力编码器表示文件与跨文件的注意力组件,使结构比较不同的水平(文件到文件和文件到文件)。我们的组件是从文档对中弱监督的,可以在多个级别上对齐。我们的评估预测的引用推荐和剽窃检测的任务上的文档到文档的关系和副本到文档的关系表明,我们的方法优于以前建立的层次,注意编码器的基础上经常性和Transformer上下文,不知道文档之间的结构对应关系。
2020-10-03 cs.CL
Contextualised Graph Attention for Improved Relation Extraction
University of Liverpool(利物浦大学)
本文提出了一种结合边缘特征和多子图的上下文化图注意力网络,用于改进关系抽取。提出了一种利用多子图学习图网络中富节点表示的新方法。为此,从单个依赖关系树获得多个子图。提出了两类边缘特征,并将其与GAT和GCN模型有效结合,应用于关系抽取。该模型在Semeval 2010 Task 8数据集上实现了最先进的性能,F1得分为86.3。
2020-04-22 cs.CL cs.IR
Predicting Punctuation in Ancient Chinese Texts: A Multi-Layered LSTM and Attention-Based Approach
针对古汉语文本无标点导致解读困难的问题,本研究在已有工作基础上提出结合多头注意力机制的双向多层LSTM方法,实验证明其效果显著优于无相关组件的RNN。
2024-09-16 cs.CL
Attention-based Modeling for Emotion Detection and Classification in Textual Conversations
LIRMM UMR 5506;CNRS(法国国家科学研究中心);University of Montpellier(蒙彼利埃大学);IUT de Béziers(贝济耶大学技术学院);AMIS;Paul Valery University - Montpellier 3(保罗·瓦莱里大学-蒙彼利埃第三大学)
本文讨论了文本会话建模和情感检测的问题。我们提出的模型利用1)深度迁移学习而不是经典的词嵌入浅层方法; 2)自我注意力机制专注于文本中最重要的部分; 3)基于回合的会话建模用于分类情感。该方法不依赖于任何手工制作的功能或词典。我们的模型基于SemEval-2019共享任务提供的文本中上下文情感检测的数据进行了评估。该模型显示出非常有竞争力的结果。
2019-06-14 cs.CL
Attention2Probability: Attention-Driven Terminology Probability Estimation for Robust Speech-to-Text System
ByteDance(字节跳动)
针对语音大模型生成领域术语不准的问题,提出Attention2Probability方法,将交叉注意力转为术语概率并采用课程学习,显著提升召回率,干预后术语准确性提高6-17%。
2025-08-26 cs.CL
An Improved Attention for Visual Question Answering
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
研究了视觉问答问题。给定一幅图像和一个用自然语言表达的自由形式的、开放式的问题,VQA系统的目标是针对该图像对该问题提供准确的答案。这项任务是具有挑战性的,因为它需要同时和复杂的理解视觉和文本信息。注意力抓住了运输方式内部和运输方式之间的依赖关系,可能已成为应对这些挑战最广泛使用的机制。在本文中,我们提出了一种改进的基于注意力的架构来解决VQA。我们在编码器-解码器框架中加入了一个注意力(AoA)模块,该模块能够确定注意力结果和查询之间的关系。注意力模块为每个查询生成加权平均值。另一方面,AoA模块首先使用注意力结果和当前上下文生成信息向量和注意力门;然后添加另一个注意力以通过将两者相乘来生成最终的被关注信息。我们还提出了多模态融合模块来结合视觉和文本信息。该融合模块的目标是动态地决定应该从每个模态中考虑多少信息。在VQA-v2基准数据集上的大量实验表明,该方法达到了最先进的性能。
2021-06-03 cs.CL cs.CV
Tree Decomposition Attention for AMR-to-Text Generation
University of Rochester(罗切斯特大学)
从AMR生成文本需要将语义图映射到它所注释的字符串。然而,基于变换器的图编码器很难捕获可能有益于序列预测的顶点依赖性。为了对编码器施加顺序,我们使用图的树分解来局部约束顶点自注意。而不是形成一个完整的查询键二分图,我们限制注意到顶点的父,子树,和相同深度的袋子。这种层次化的上下文为顶点状态更新提供了稀疏性和结构。我们应用动态规划,以获得一个森林的树分解,选择结构上最相似的树的AMR。我们的系统比自我关注的基线高出1.6 BLEU和1.8 chrF++。
2021-09-01 cs.CL
Input-length-shortening and text generation via attention values
The University of Auckland(奥克兰大学)
识别对任务性能影响更大的单词是自然语言处理中的一个挑战。Transformers模型最近通过结合分配更多注意力的注意力机制(即,相关性)得分比其他一些词。由于注意力机制的高计算成本,Transformer模型通常具有由硬件约束引起的输入长度限制。这种限制适用于许多Transformers,包括众所周知的Transformer(BERT)模型的双向编码器表示。在本文中,我们研究了BERT的注意力分配机制,主要集中在两个问题:(1)如何利用注意力来减少输入长度?(2)如何将注意力用作条件文本生成的控制机制?我们在文本分类任务的背景下研究了这些问题。我们发现,与后面的层相比,BERT的早期层为文本分类任务分配了更多的关键注意力分数。我们证明了第一层的注意力总和可以用于过滤给定序列中的令牌,大大减少了输入长度,同时保持了良好的测试精度。我们还应用了过滤,它使用计算效率高的语义相似性算法,并发现保留约6%的原始序列足以获得86.5%的准确性。最后,我们证明了我们可以以稳定的方式生成数据,并且根据BERT的第一层,仅使用一小部分(10%)具有高注意力分数的标记,就可以与原始数据区分开来。
2023-03-14 cs.CL
Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation
University of Mannheim(曼海姆大学);Educational Testing Service (ETS)(教育考试服务中心(ETS))
将长文本的结构分解为语义连贯的片段,使文本更具可读性,并支持下游应用程序,如摘要和检索。从一个明显的文本连贯性和分割之间的联系,我们介绍了一种新的监督模型,文本分割简单,但明确的连贯性建模。我们的模型--由两个分层连接的Transformer网络组成的神经架构--是一个多任务学习模型,它将重复级分割目标与连贯性目标相结合,从而区分正确的句子序列和错误的句子序列。该模型被称为一致性感知文本分割(CATS),在一组基准数据集上产生最先进的分割性能。此外,通过将CATS与跨语言词嵌入相结合,我们证明了其在zero-shot语言迁移中的有效性:它可以成功地分割训练中看不到的语言中的文本。
2020-01-03 cs.CL
L1 Augmented Attention as an Improved Vector Similarity Metric
研究针对缩放点积注意力在Transformer模型中作为相似性度量的局限,提出L1增强注意力方法,通过减去特定头的L1距离改进相似性计算,经实验在WikiText 2上取得更好效果,揭示了各层几何作用及头级专业化,有效提升语言模型相似性计算。
2026-07-21 cs.CL cs.LG
Attention Is Indeed All You Need: Semantically Attention-Guided Decoding for Data-to-Text NLG
University of California, Santa Cruz(加州大学圣克鲁兹分校)
自从神经模型在数据到文本的语言生成中被采用以来,它们总是依赖于外部组件来提高其语义准确性,因为模型通常不具有生成可靠地提到输入中提供的所有信息的文本的能力。在本文中,我们提出了一种新的解码方法,从编码器-解码器模型的交叉注意中提取可解释的信息,并使用它来推断生成的文本中提到了哪些属性,随后用于重新评分波束假设。使用T5和BART的这种解码方法,我们在三个数据集上展示了它在生成的输出中显着减少语义错误的能力,同时保持其最先进的质量。
2021-09-15 cs.CL cs.LG
Can Active Memory Replace Attention?
Google Brain(谷歌大脑)
近年来,将神经网络的注意力集中在其输入或记忆的选定部分上的几种机制已成功地用于深度学习模型中。注意力改善了图像分类、图像描述、语音识别、生成模型和学习算法任务,但它可能对神经机器翻译产生了最大的影响。最近,使用替代机制已经获得了类似的改进,这些机制不关注存储器的单个部分,而是以统一的方式并行地对所有部分进行操作。这种机制,我们称之为主动记忆,改善了算法任务、图像处理和生成建模中的过度注意力。然而,到目前为止,对于大多数自然语言处理任务,特别是对于机器翻译,主动记忆并没有改善注意力。本文分析了这一缺点,并提出了一种扩展的主动记忆模型,该模型与神经机器翻译上的现有注意力模型相匹配,并且更好地推广到较长的句子。我们调查这个模型,并解释为什么以前的主动记忆模型没有成功。最后,我们讨论了主动记忆何时带来最大的好处,以及注意力在哪里可以成为更好的选择。
2017-03-07 cs.CL cs.LG
Improved training of end-to-end attention models for speech recognition
RWTH Aachen University(亚琛工业大学);AppTek(AppTek公司);NNAISENSE(NNAISENSE公司)
基于子字单元的序列到序列注意力模型允许简单的开放词汇端到端语音识别。在这项工作中,我们表明,这样的模型可以在Switchboard 300 h和LibriSpeech 1000 h任务上取得有竞争力的结果。特别是,我们报告的国家的最先进的字出错率(WER)为3.54%的开发清洁和3.82%的测试清洁评价子集LibriSpeech。我们引入了一个新的预训练方案,从一个高的时间减少因子开始,并在训练过程中降低它,这对收敛和最终性能都至关重要。在一些实验中,我们还使用辅助CTC损失函数来帮助收敛。此外,我们在子字单元上训练长短期记忆(LSTM)语言模型。通过浅层融合,我们报告了在没有语言模型的情况下,WER比注意力基线的相对改善高达27%。
2018-05-08 cs.CL cs.LG stat.ML
Triple M: A Practical Text-to-speech Synthesis System With Multi-guidance Attention And Multi-band Multi-time LPCNet
Tencent(腾讯)
在这项工作中,一个强大的和高效的文本到语音(TTS)合成系统命名为三重M提出了大规模的在线应用。三重M的关键组成部分是:1)序列到序列模型采用了一种新的多指导注意力转移互补的优势,从指导注意力机制的基本注意力机制没有域内的性能损失和在线服务修改。与单一注意力机制相比,多引导注意不仅给长句合成带来了更好的自然度,而且单词出错率降低了26.8%。2)提出了一种新的高效多带多时声码器框架,将计算复杂性从2.8 GFLOP降低到1.0 GFLOP,并在单个CPU上将LPCNet的速度提高了2.75倍。
2021-04-07 cs.CL eess.AS
SceneGATE: Scene-Graph based co-Attention networks for TExt visual question answering
University of Sydney(悉尼大学);University of Western Australia(西澳大学)
本文提出SceneGATE方法,通过场景图揭示物体、OCR标记与问题词间的语义关系,并结合语义关系感知和位置关系感知注意力模块,在Text-VQA和ST-VQA上取得优于现有方法的效果。
2023-08-07 cs.CL cs.CV
Clustering Text Using Attention
Punjab Engineering College(旁遮普工程学院)
文本聚类一直是自然语言处理领域的一个重要问题。虽然存在基于在上下文或非上下文向量空间表示之上使用常规聚类技术来对文本进行聚类的技术,但是仍然存在可能对这些技术的性能和实现进行各种改进的流行研究领域。本文讨论了一种基于注意力机制的文本聚类技术。注意力机制已被证明是非常有效的各种NLP任务在最近的时间。本文在聚类空间中扩展了注意力机制的思想,为一个全新的研究领域提供了新的思路
2022-01-08 cs.AI cs.CL cs.LG
Image Search with Text Feedback by Additive Attention Compositional Learning
University of California, Merced(加州大学默塞德分校);Pinterest(拼趣)
具有文本反馈的有效图像检索将影响一系列现实世界的应用,例如电子商务。给定源图像和描述对该图像的期望修改的文本反馈,目标是通过组成多模态(图像-文本)查询来检索与源相似但满足给定修改的目标图像。我们提出了一种新的解决方案,添加剂注意组合学习(AACL),它使用了多模态转换器为基础的架构,并有效地模拟图像-文本上下文。具体来说,我们提出了一种新的基于附加注意力的图像-文本合成模块,可以无缝地插入到深度神经网络中。我们还介绍了一个新的具有挑战性的基准来自Shopping 100 k数据集。AACL在三个大规模数据集(FashionIQ,Fashion 200 k和Shopping 100 k)上进行了评估,每个数据集都有很强的基线。大量的实验表明,AACL在所有三个数据集上都取得了新的最先进的结果。
2022-03-08 cs.CL cs.CV
Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Academy of AI for Science(上海人工智能科学研究院)
该研究探索了扩散与自回归T2I Transformer的注意力汇,明确其存在、模式与功能,引入寄存器标记可优化生成性能,为相关机制分析与注意力设计提供依据。
2026-10-12 cs.CL cs.CV
Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization
The Chinese University of Hong Kong(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院);Tencent AI Lab(腾讯人工智能实验室);Fudan University(复旦大学)
注意力机制在序列生成模型中起着主导作用,并被用于提高机器翻译和摘要的性能。与神经机器翻译不同,在文本摘要任务中,单词、短语或句子的显著性估计是一个关键组成部分,因为输出摘要是输入文本的精华。虽然典型的注意力机制可以根据解码器的状态从输入文本中进行文本片段的选择,但要进行直接有效的显著性检测仍然存在差距。为了用神经网络恢复摘要的直接显著性估计,我们提出了一个多注意力学习框架,该框架包含两个新的显著性估计注意力学习组件:监督注意力学习和无监督注意力学习。我们将注意力权重作为显著性信息,这意味着注意力值大的语义单元将更重要。基于估计的显著性获得的上下文信息与解码器中的典型注意力机制结合以进行摘要生成。在不同语言的基准数据集上进行的大量实验证明了该框架对抽象摘要任务的有效性。
2020-04-07 cs.CL cs.IR cs.LG
Link Prediction with Mutual Attention for Text-Attributed Networks
Université de Lyon, Lyon 2(里昂大学里昂第二大学)
在这个扩展的摘要中,我们提出了一个算法,该算法从结构化语料库的网络拓扑结构中学习文档之间的相似性度量。我们利用最近提出的一种注意力机制Scaled Dot-Product Attention来设计文档对之间的相互注意力机制。为了训练其参数,我们使用网络链路作为监督。我们提供了两个预测任务的引文数据集的初步实验结果,证明了我们的模型学习有意义的文本相似性的能力。
2019-03-20 cs.CL cs.LG cs.SI
AEyeDE: An Attention-Based Attribution Framework for AI-Generated Text Detection
University of Luxembourg(卢森堡大学);Department of Computer Science(计算机科学系)
提出AEyeDE框架,利用代理Transformer模型的注意力归因矩阵,通过轻量级CNN区分人类与AI生成文本,在多种设置下优于文本基线,并揭示注意力图的局部结构差异。
2026-04-13 cs.AI cs.CL
Character-Based Handwritten Text Transcription with Attention Networks
Duke University(杜克大学);The Statistical and Applied Mathematical Sciences Institute(统计与应用数学科学研究所);NVIDIA Corporation(英伟达公司)
本文采用基于字符序列而不是单词训练的注意编码器-解码器网络来处理手写文本识别(HTR)任务。我们对流行的手写数据集的文本行进行了实验,并比较了用于对齐图像像素和目标字符的注意力机制的不同激活函数。我们发现softmax的注意力集中在单个字符上,而sigmoid的注意力集中在解码的每个步骤中的多个字符上。当序列比对是一对一时,softmax attention能够在解码的每一步学习更精确的比对,而sigmoid attention生成的比对则精确得多。当使用线性函数来获得注意力权重时,该模型通过查看整个字符序列来预测字符,并且表现不佳,因为它缺乏源和目标之间的精确对齐。未来的研究可能会探索自然场景图像中的HTR,因为该模型能够转录手写文本,而不需要在图像中生成文本的分割或边界框。
2021-02-24 cs.CL cs.CV stat.ML
Lend Me Your Eyes: Instruction-Aware Text Embeddings via Attention Relay
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出注意力中继(Attention Relay),无需训练即可将指令微调LLM的注意力权重传递给文本嵌入模型,使其具备指令感知能力,实验验证了其有效性和机制。
2026-10-06 cs.CL cs.LG
DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs
School of Computer Science and Engineering(计算机科学与工程学院)
DuConTE通过双粒度编码和拓扑约束注意力,提升带文本图的语义表示,实现文本和结构信息的融合,实验表明其在多个基准数据集上表现优异。
2026-04-19 cs.AI cs.CL
Query-based Attention CNN for Text Similarity Map
National Taiwan University(台湾大学)
在本文中,我们介绍了基于查询的注意力CNN(QACNN)的文本相似性地图,一个端到端的问答神经网络。该网络由比较机制、具有注意力机制的两级CNN结构和预测层组成。首先,比较机制在给定的段落、查询和多个答案选择之间进行比较,以构建相似性图。然后,两阶段的CNN架构提取特征,通过词级和句子级。同时,注意力机制有助于CNN根据查询信息更好地关注文章的重要部分。最后,预测层找出最可能的答案选择。我们仅使用Plot Synopses在MovieQA数据集上进行此模型,并实现了79.99%的准确率,这是数据集上的最新技术水平。
2017-10-18 cs.AI cs.CL
Uncovering the Role of Initial Saliency in U-Shaped Attention Bias: Scaling Initial Token Weight for Enhanced Long-Text Processing
ir.hit.edu.cn(哈尔滨工业大学信息科学学院)
本文提出通过缩放初始标记权重以提升长文本处理能力,发现初始显著性对U形注意力偏差有重要影响,并在多个任务中取得性能提升。
2025-12-15 cs.AI cs.CL
Dilated Convolutional Attention Network for Medical Code Assignment from Clinical Text
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);Nanyang Technological University(南洋理工大学)
医疗编码分配是智能医疗信息系统的一项基本任务,它是从临床文本中预测出医疗编码。自然语言处理中深层模型的出现促进了自动赋值方法的发展。然而,最近的先进的神经架构与平面卷积或多通道特征级联忽略了文本序列中的顺序因果约束,可能无法学习有意义的临床文本表示,特别是对于具有长期顺序依赖性的冗长临床笔记。本文提出了一种扩展卷积注意力网络(DCAN),集成了扩展卷积,剩余连接和标签注意力,用于医疗代码分配。它采用扩张卷积来捕获复杂的医学模式,其感受野随扩张尺寸呈指数增长。在真实世界的临床数据集上进行的实验表明,我们的模型提高了最先进的水平。
2020-09-30 cs.CL cs.IR
Pay Better Attention to Attention: Head Selection in Multilingual and Multi-Domain Sequence Modeling
Facebook AI Research(脸书人工智能研究院)
多头注意力使每个注意力头从输入序列的不同部分收集显著信息,使其成为序列建模的强大机制。多语言和多领域学习是序列建模的常见场景,其中的关键挑战是最大限度地提高语言和领域之间的正迁移并减轻负迁移。在本文中,我们发现,非选择性的注意力共享是次优的实现良好的泛化在所有的语言和领域。我们进一步提出了注意力共享策略,以促进多语言和多域序列建模中的参数共享和专业化。我们的方法自动学习不同语言和领域的共享和专门注意力,以减轻它们的干扰。在各种任务,包括语音识别,文本到文本和语音到文本的翻译,所提出的注意力共享策略始终带来收益的序列模型建立在多头注意力。对于语音到文本的翻译,我们的方法产生的平均$+2.0$ BLEU的$13$语言方向在多语言设置和$+2.0$ BLEU的$3$域在多域设置。
2021-06-21 cs.AI cs.CL
Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data
情感识别已经成为一个热门的研究课题,特别是在人机交互领域。以前的工作涉及单峰分析的情绪,而最近的努力集中在多模态的情绪识别从视觉和语音。在本文中,我们提出了一种新的方法,使用卷积注意力网络来学习语音和文本数据之间的隐藏表示。与采用简单的特征向量拼接的浅层模型相比,所提出的注意力模型在从CMU-MOSEI数据集中包含的语音和文本数据中分类情感方面表现得更好。
2019-03-08 cs.AI cs.CL cs.HC
VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出了VARA-TTS,一种非自回归(non-AR)的文本到语音(TTS)模型,使用一个非常深的变分自编码器(VDVAE)与剩余注意力机制,它细化的文本到声学对齐逐层。层次隐变量与不同的时间分辨率从VDVAE被用作查询的剩余注意力模块。通过利用来自前一个注意层的粗略全局对齐作为额外的输入,下面的注意层可以产生对齐的细化版本。这分摊了在多个注意层之间学习文本到声学对齐的负担,并且在鲁棒性方面优于仅使用单个注意层。由联合训练的说话速度预测器计算话语级说话速度因子,该预测器将粗层的平均池化潜变量作为输入,以确定推断时的声学帧的数量。实验结果表明,VARA-TTS实现略差的语音质量的AR对应Tacotron 2,但数量级的速度在推理;和优于一个类似的非AR模型,BVAE-TTS,在语音质量方面。
2021-02-12 cs.CL cs.SD eess.AS
Improved Neural Text Attribute Transfer with Non-parallel Data
IBM Research AI(IBM 人工智能研究院);T. J. Watson Research Center(T. J. 沃森研究中心)
使用非并行数据的文本属性传输需要能够执行内容和语言属性的分离的方法。在这项工作中,我们提出了多种改进现有的方法,使编码器-解码器框架,以应付从非并行数据的文本属性传输。我们使用两个数据集进行情感转移任务的实验。对于这两个数据集,我们提出的方法在三个评估指标中的两个方面优于强基线。
2017-12-04 cs.AI cs.CL cs.LG
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Huazhong University of Science and Technology(华中科技大学);Lehigh University(理海大学)
为了从原始文本中捕获语义图结构,大多数现有的摘要方法都是基于具有预训练模型的GNN构建的。然而,这些方法遭受繁琐的程序和低效率的计算长文本文档。为了缓解这些问题,本文提出了HETFORMER,这是一种基于Transformer的预训练模型,具有多粒度稀疏注意力,用于长文本提取摘要。具体来说,我们将原始文本中不同类型的语义节点建模为潜在的异构图,并通过Transformer直接学习节点之间的异构关系(边)。在单文档和多文档摘要任务上的大量实验表明,HETFORMER在Rouge F1中实现了最先进的性能,同时使用更少的内存和更少的参数。
2021-10-19 cs.AI cs.CL cs.LG
Divide & Bind Your Attention for Improved Generative Semantic Nursing
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Mannheim(曼海姆大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(蒂宾根大学)
针对现有文本生成图像模型在复杂提示词下属性绑定差、生成不符的问题,提出Divide & Bind方法,为生成语义护理引入注意力与绑定损失,提升复杂场景下的生成对齐效果与基准性能。
2024-07-14 cs.AI cs.CL cs.CV
MAST: Multimodal Abstractive Summarization with Trimodal Hierarchical Attention
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);New York University(纽约大学)
本文提出了MAST,一个新的模型,多模态抽象文本摘要,利用所有三种形式的信息-文本,音频和视频-在多模态视频。以前的工作多模态摘要文本摘要只利用信息的文本和视频模态。我们研究的有用性和挑战,从音频模态派生的信息,并提出了一个序列到序列的三模态分层注意力为基础的模型,克服了这些挑战,让模型更加关注的文本模态。MAST在多模态语言理解的How2数据集上的内容F1得分和Rouge-L得分方面优于当前最先进的模型(视频-文本)2.51分和1.00分。
2020-10-15 cs.CL cs.CV cs.LG