Perturbation-based Self-supervised Attention for Attention Bias in Text Classification
South China University of Technology(华南理工大学)
本文提出基于扰动的自监督注意力方法,通过向句子中词语添加不改变语义和预测的噪声来识别不重要的词,从而优化注意力分布,无需标注数据即可显著提升文本分类中注意力模型的性能。
2023-05-25 cs.CL
Japanese Sentiment Classification using a Tree-Structured Long Short-Term Memory with Attention
Yahoo Japan Corporation(雅虎日本公司);Graduate School of System Design(系统设计研究生院);Tokyo Metropolitan University(东京都立大学)
以前训练基于语法的情感分类模型的方法需要短语级注释语料库,这在英语以外的许多语言中并不容易获得。因此,我们建议使用树结构的长短期记忆与注意力机制,注意到每个子树的解析树。实验结果表明,我们的模型达到了最先进的性能在日本的情感分类任务。
2018-09-30 cs.CL
Neural Attention Models for Sequence Classification: Analysis and Application to Key Term Extraction and Dialogue Act Detection
Graduate Institute of Communication Engineering National Taiwan University
结合注意力机制或神经注意力模型的递归神经网络结构最近在语音识别、图像字幕生成、视觉问答和机器翻译等任务中表现出了良好的性能。本文将神经注意力模型应用于两个序列分类任务:对话行为检测和关键词提取。在序列标记任务中,模型输入是一个序列,输出是输入序列的标签。序列标记的主要困难是当输入序列很长时,它可能包含许多噪声或不相关的部分。如果对整个序列中的信息进行同等对待,则噪声或无关部分可能会降低分类性能。由于注意力机制能够突出整个序列中的重要部分,从而有助于序列分类任务。实验结果表明,与注意力机制,在这里考虑的序列标记任务取得了明显的改善。本文进一步分析和可视化了注意力机制在任务中的作用。
2016-03-31 cs.CL
Improving Review Representations with User Attention and Product Attention for Sentiment Classification
Nanjing University(南京大学)
神经网络方法在评论情感分类中取得了巨大的成功。最近,一些作品取得了改进,通过将用户和产品信息,以产生一个评论表示。然而,在评论中,我们观察到一些词或句子表现出强烈的用户偏好,而另一些则倾向于指示产品的特性。这两种信息在确定评论的情感标签时起着不同的作用。因此,将用户和产品信息一起编码到一个表示中是不合理的。在本文中,我们提出了一个新的框架来编码用户和产品信息。首先,我们应用两个独立的分层神经网络来生成两个表示,用户注意力或产品注意力。然后,我们设计了一种组合策略,充分利用这两种表示进行训练和最终预测。实验结果表明,该模型在IMDB和Yelp数据集上的性能明显优于其他现有方法。通过对用户或产品相关词的注意力可视化,我们验证了上述观察结果。
2018-01-24 cs.CL cs.IR cs.LG
Attention Transfer Network for Aspect-level Sentiment Classification
Nanjing University(南京大学)
情感分类(ASC)的目的是检测句子中给定的意见目标的情感极性。在基于神经网络的情感支持向量机方法中,大多数研究都是利用注意力机制来捕获与目标意见相对应的情感词,然后将其聚合为证据来推断目标意见。然而,由于注释的复杂性,方面级数据集的规模都相对较小。数据稀缺性导致注意力机制有时无法关注目标对应的情感词,最终削弱了神经模型的性能。为了解决这个问题,本文提出了一种新的注意力转移网络(ATN),它可以成功地利用资源丰富的文档级情感分类数据集的注意力知识,以提高方面级情感分类任务的注意力能力。在ATN模型中,我们设计了两种不同的方法来转移注意力知识,并在两个ASC基准数据集上进行了实验。大量的实验结果表明,我们的方法始终优于国家的最先进的作品。进一步的分析也验证了ATN的有效性。
2020-10-23 cs.CL
Advancing Connectionist Temporal Classification With Attention Modeling
Microsoft(微软)
在这项研究中,我们提出了推进全神经语音识别直接将注意力建模的连接时间分类(CTC)框架。特别是,我们使用时间卷积特征来推导新的上下文向量,以将注意力建模为CTC网络的一部分。为了进一步改进注意力建模,我们利用从表示隐式语言模型的网络中提取的内容信息。最后,我们引入了基于向量的注意力权重,这些权重应用于时间和各个分量的上下文向量。我们评估我们的系统上3400小时的Microsoft Cortana语音助手任务,并证明我们提出的模型始终优于基线模型,实现约20%的相对减少字出错率。
2018-03-15 cs.CL
Iterative Recursive Attention Model for Interpretable Sequence Classification
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算学院)
自然语言处理从注意力机制的引入中受益匪浅。然而,标准的注意力模型是有限的可解释性的任务,涉及一系列的推理步骤。我们描述了一个迭代递归注意力模型,该模型通过重用先前计算的查询结果来构造输入数据的增量表示。我们在情感分类数据集上训练我们的模型,并展示了它以易于解释的方式识别和组合输入的不同方面的能力,同时获得接近最先进水平的性能。
2018-08-30 cs.CL
Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification
University of Sheffield(谢菲尔德大学)
自然语言处理中的神经网络架构通常使用注意力机制来产生输入令牌表示的概率分布。注意力已被经验证明可以提高各种任务的性能,而其权重已被广泛用作模型预测的解释。最近的研究(Jain和Wallace,2019; Serrano和Smith,2019; Wiegreffe和Pinter,2019)表明,它通常不能被认为是编码器和任务之间的忠实解释(Jacovi和Goldberg,2020)。在本文中,我们试图提高基于注意力的文本分类解释的可信度。我们通过提出一个新的任务缩放(TaSc)机制,学习特定于任务的非上下文信息来缩放原始的注意力权重。对解释忠实性的评估测试表明,TaSc的三个变体在两个注意力机制、五个编码器和五个文本分类数据集上提高了基于注意力的解释,而不牺牲预测性能。最后,我们证明,TaSc一贯提供更忠实的注意力为基础的解释相比,三个广泛使用的可解释性技术。
2021-05-07 cs.CL
Progress Notes Classification and Keyword Extraction using Attention-based Deep Learning Models with BERT
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校);Carmel High School(卡梅尔高中);DePauw University(德堡大学)
各种深度学习算法已经被开发出来用于分析不同类型的临床数据,包括临床文本分类和从“自由文本”中提取信息等,但是从临床笔记中自动提取关键词仍然是一个挑战。挑战包括处理包含各种缩写、可能的错别字和非结构化句子的嘈杂临床笔记。本研究的目的是研究基于注意力的深度学习模型,以分类从现实世界的电子病历系统中提取的去识别的临床进展记录。基于注意力的深度学习模型可以用于解释模型并理解驱动临床进展笔记的正确或不正确分类的关键词。本研究中的基于注意力的模型能够提供人类可理解的文本分类模型。实验结果表明,加入注意层的微调BERT分类模型可以达到97.6%的高分类准确率,高于基线微调BERT分类模型。在这项研究中,我们还证明了基于注意力的模型可以识别与临床进展记录类别密切相关的相关关键词。
2019-10-24 cs.CL
Attentional Encoder Network for Targeted Sentiment Classification
Sun Yat-sen University(中山大学)
有针对性的情感分类旨在确定对特定目标的情感倾向。以前的大多数方法都是用RNN和注意力来建模上下文和目标词。然而,RNN很难并行化,并且通过时间截断的反向传播在记住长期模式方面带来了困难。为了解决这个问题,本文提出了一种注意编码器网络(AEN),它避免了递归,并采用基于注意的编码器的上下文和目标之间的建模。我们提出了标签不可靠性问题,并引入标签平滑正则化。我们还将预训练的BERT应用于此任务,并获得了新的最先进的结果。实验和分析表明,我们的模型的有效性和轻量级。
2019-04-01 cs.CL
Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
大多数神经网络的关系分类方法都集中在使用卷积神经网络(CNN)来寻找表示语义关系的短模式,并且这些方法通常比使用递归神经网络(RNN)获得更好的性能。在与CNN模型类似的直觉中,我们提出了一种新的基于RNN的模型,该模型使用多个范围限制的双向层和对关系分类的关注,只关注句子的重要部分。SemEval-2010关系分类任务的实验结果表明,我们的模型与使用额外语言信息的最先进的基于CNN和基于RNN的模型相当。
2017-11-01 cs.CL
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Carnegie Mellon University(卡内基梅隆大学)
方面级情感分类旨在识别给定上下文句子的方面所表达的情感。以前的基于神经网络的方法在很大程度上忽略了一个句子中的句法结构。在本文中,我们提出了一种新的目标依赖图注意力网络(TD-GAT)的方面级别的情感分类,明确利用词之间的依赖关系。使用依赖图,它直接从方面目标的语法上下文传播情感特征。在我们的实验中,我们证明了我们的方法优于GloVe嵌入的多个基线。我们还证明,使用BERT表示进一步大幅提高性能。
2019-09-05 cs.CL
Dialogue Act Classification with Context-Aware Self-Attention
Grammarly
最近在Dialogue Act分类中的工作已经将任务视为使用分层深度神经网络的序列标记问题。我们建立在这个以前的工作,利用上下文感知的自我注意力机制的有效性,再加上一个层次循环神经网络。我们对标准对话法分类数据集进行了广泛的评估,并显示出对交换机对话法(SwDA)语料库的最新结果的显着改善。我们还研究了不同的话语级表示学习方法的影响,并表明我们的方法是有效的,在捕获话语级语义文本表示,同时保持高准确性。
2019-05-06 cs.CL
A Multi-sentiment-resource Enhanced Attention Network for Sentiment Classification
Tsinghua University(清华大学);Peking University(北京大学)
用于情感分类的深度学习方法没有充分利用情感语言学知识。在本文中,我们提出了一个多情感资源增强注意力网络(MEAN),通过整合三种情感语言知识(例如,情感词汇、否定词、强度词)经由注意力机制输入到深度神经网络中。通过使用各种类型的情感资源,MEAN利用来自不同表示子空间的情感相关信息,这使得它更有效地捕捉情感,否定和强度词的整体语义用于情感预测。实验结果表明,MEAN算法具有较强的鲁棒性.
2018-07-13 cs.CL
A Novel Perspective to Look At Attention: Bi-level Attention-based Explainable Topic Modeling for News Classification
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学学院)
针对深度学习注意力机制在NLP任务中可解释性不足的问题,提出基于双层注意力架构的可解释主题建模框架,将解释与决策解耦,在新闻分类任务上性能达最优水平且具备良好可解释性。
2022-10-27 cs.CL
geoGAT: Graph Model Based on Attention Mechanism for Geographic Text Classification
Northeast Forestry University(东北林业大学);Tsinghua University(清华大学);Embry-Riddle Aeronautical University(安柏瑞德航空大学)
在地理信息处理领域。地理文本分类的研究较少。但该任务在中文中的应用相对较少。在我们的工作中,我们打算实现一种方法,从大量的网络文本中提取包含地理实体的文本。这些文本中的地理信息对交通、城乡规划、救灾等领域具有重要的现实意义。我们使用带有注意力机制的图卷积神经网络的方法来实现这一功能。图注意力网络是图卷积神经网络的一种改进。与GCN相比,GAT的优点在于提出了注意力机制,对相邻节点的特征之和进行加权。此外,我们从多个中文文本分类数据集中构造了一个包含地理分类的中文文本数据集。我们使用的GeoGAT的Macro-F分数在新的中国数据集上达到95%。
2021-01-13 cs.CL
A Simple Meta-learning Paradigm for Zero-shot Intent Classification with Mixture Attention Mechanism
Dalian University of Technology(大连理工大学);Peking University(北京大学)
Zero-shot意图分类是对话系统中一项重要且具有挑战性的任务,其目的是在没有标注训练数据的情况下处理大量快速出现的未知意图。为了获得更好的性能,关键在于两个方面:提取更好的话语特征和增强模型的泛化能力。在本文中,我们提出了一个简单而有效的元学习范式的zero-shot意图分类。为了更好地学习话语的语义表示,我们引入了一种新的混合注意力机制,该机制通过同时利用分布式签名注意力和多层感知器注意力来编码相关的单词出现模式。为了增强模型从可见类到不可见类的迁移能力,我们采用元学习策略对zero-shot意图分类进行了重构,通过在可见类上模拟多个zero-shot分类任务来训练模型,并在模拟不可见类上采用元自适应过程来提高模型的泛化能力.在两个不同语言的真实对话数据集上进行的大量实验表明,我们的模型在标准和广义zero-shot意图分类任务上都优于其他强基线。
2022-06-05 cs.CL
Multilingual Hierarchical Attention Networks for Document Classification
Idiap Research Institute(伊迪亚普研究所);HEIG-VD / HES-SO(沃州工程与管理高等学院 / 瑞士西部应用科学与艺术大学)
分层注意力网络最近在给定语言的文档分类中取得了显着的性能。然而,当考虑多语言文档集合时,为每种语言单独训练这样的模型需要线性参数增长和缺乏跨语言迁移。因此,学习具有较少参数的单一多语言模型是一个具有挑战性但可能有益的目标。为此,我们提出了多语言层次注意力网络学习文档结构,共享编码器和/或共享注意力机制跨语言,使用多任务学习和对齐的语义空间作为输入。我们评估了建议的模型与不相交的标签集的多语言文档分类,在一个大型数据集,我们提供的,在8种语言的600 k新闻文档,和5 k标签。多语言模型在低资源和全资源环境中的表现优于单语言模型,并且使用更少的参数,从而证实了它们的计算效率和跨语言迁移的实用性。
2017-09-15 cs.CL
Resilient Combination of Complementary CNN and RNN Features for Text Classification through Attention and Ensembling
Swisscom AG(瑞士电信股份公司)
现有的文本分类方法包括预处理、特征提取和后处理等几个不同的步骤。在这项工作中,我们专注于端到端的神经架构,并表明文本分类的最佳性能是通过组合来自不同神经模块的信息来获得的。具体地说,我们结合卷积,经常性和注意模块集成方法,并表明它们是互补的。我们介绍ECGA,一个端到端的去到架构的新颖的文本分类任务。我们证明了它是有效的和强大的,因为它达到或超过了最先进的各种数据集,包括低和高的数据制度。
2019-03-28 cs.CL
Deep Short Text Classification with Knowledge Powered Attention
Fudan University(复旦大学);CETC Big Data Research Institute Co.,Ltd.(中国电子科技集团大数据研究院有限公司);Shanghai Institute of Intelligent Electronics & Systems(上海智能电子与系统研究院);Shuyan Technology(书颜科技);Alibaba Group(阿里巴巴集团)
短文本分类是自然语言处理的重要任务之一。与段落或文档不同,短文本由于没有足够的上下文信息而更加模糊,这对分类提出了很大的挑战。在本文中,我们从外部知识源检索知识,以增强短文本的语义表示。我们将概念信息作为一种知识,并将其纳入深度神经网络。为了度量知识的重要性,我们引入了注意力机制,提出了基于知识驱动注意力的深度短文本分类(STCKA)。我们利用面向短文本的概念(C-ST)注意力和面向概念集的概念(C-CS)注意力从两个方面获取概念的权重。并在概念信息的帮助下对短文进行分类。与传统方法不同,我们的模型就像一个人一样,具有基于观察做出决策的内在能力(即,机器的训练数据),并更多地关注重要知识。我们还针对不同的任务在四个公共数据集上进行了广泛的实验。实验结果和案例研究表明,我们的模型优于国家的最先进的方法,证明了知识驱动的注意力的有效性。
2019-02-21 cs.CL
Be More with Less: Hypergraph Attention Networks for Inductive Text Classification
Arizona State University(亚利桑那州立大学);Texas A&M University(得克萨斯农工大学);University of Virginia(弗吉尼亚大学);Amazon Inc.(亚马逊公司)
文本分类是自然语言处理中一个重要的研究课题,具有广泛的应用前景。最近,图神经网络(GNNs)在研究界受到越来越多的关注,并在这个典型的任务上展示了他们有前途的结果。尽管取得了成功,但它们的性能在实践中可能会受到很大程度的影响,因为它们:(1)无法捕获单词之间的高阶交互;(2)处理大型数据集和新文档的效率低下。为了解决这些问题,本文提出了一种基于超图注意力网络(Hypergraph Attention Networks,HyperGAT)的文本表示学习模型。在各种基准数据集上的大量实验证明了该方法在文本分类任务上的有效性。
2020-11-01 cs.CL
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的,这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构,如Kim,Yoon的用于句子分类的卷积神经网络,显示了有希望的结果。在本文中,我们提出了将注意力机制纳入网络,以提高其性能,我们还提出了WordRank的词汇选择,以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法,TextCNN在20News上的准确度从94.79提高到96.88,此外,通过使用WordRank,嵌入层的参数数量可以大大减少,而准确度损失很小。通过使用WordRank进行词汇选择,我们可以将参数的数量减少5倍以上,从7.9M减少到1.5M,准确率仅下降1.2%。
2021-08-04 cs.CL
Explaining a Neural Attention Model for Aspect-Based Sentiment Classification Using Diagnostic Classification
Delft University of Technology(代尔夫特理工大学);Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学);Bucharest Univ. of Economic Studies(布加勒斯特经济研究大学)
许多用于基于情感的情感分类(ABSC)的高性能机器学习模型产生黑盒模型,因此几乎不能解释它们如何将特定情感值分类到某个方面。在本文中,我们提出了解释模型,检查的内部动态的一个国家的最先进的神经注意力模型,LCR-Rot-Hop,通过使用一种技术称为诊断分类。我们的诊断分类器是一个简单的神经网络,它评估LCR-Rot-hop模型的内部层是否编码了用于分类的有用单词信息,即,词性、情感值、体关系的存在以及词的体相关情感值。我们的结论是,在LCR-Rot-hop模型的低层编码的部分语音和情感值,而高层表示的方面和方面相关的情感值的话的关系的存在。
2021-03-29 cs.CL
A Dual-Attention Hierarchical Recurrent Neural Network for Dialogue Act Classification
University of Aberdeen(阿伯丁大学);University of Sheffield(谢菲尔德大学);Utrecht University(乌得勒支大学)
识别对话行为(DA)对于诸如对话生成和意图识别等许多自然语言处理任务是重要的。在本文中,我们提出了一个双注意层次循环神经网络的DA分类。我们的模型的部分灵感来自于观察,会话语句通常与DA和主题,前者捕捉的社会行为和后者描述的主题。然而,DA和主题之间的这种依赖性尚未被大多数现有的DA分类系统所利用。通过一种新颖的双任务特定的注意力机制,我们的模型能够,对于话语,捕获关于DA和主题的信息,以及关于它们之间的交互的信息。实验结果表明,通过将主题建模为辅助任务,我们的模型可以显着改善DA分类,在三个公共数据集上产生更好或与最先进的方法相当的性能。
2019-10-10 cs.CL
LED down the rabbit hole: exploring the potential of global attention for biomedical multi-document summarisation
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);RMIT University(皇家墨尔本理工大学)
在本文中,我们报告了我们提交的多文档摘要文献综述(MSLR)共享任务。具体来说,我们采用PRIMERA(Xiao et al.,2022年),通过以多种方式将全球注意力放在重要的生物医学实体上,将其转移到生物医学领域。我们分析了23个结果模型的输出,并报告了与额外的全球关注、训练步骤数量和输入配置相关的结果模式。
2022-09-19 cs.CL
MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification
School of Computer Science and Engineering, Vellore Institute of Technology(韦洛尔理工学院计算机科学与工程学院);University of Pretoria(比勒陀利亚大学)
针对低资源班图语言数据稀缺问题,提出结合语言无关数据增强与多头注意力加权嵌入的模型,以增强关键数据点,提升文本分类性能,为低资源语言处理奠定基础。
2025-02-25 cs.AI cs.CL cs.IR
Dual-Attention Model for Aspect-Level Sentiment Classification
East China University of Science and Technology(华东理工大学)
我提出了一种新的双注意力模型(DAM)的方面级情感分类。人们提出了许多方法,如用于人工设计特征的支持向量机,基于注意力机制的长短期记忆网络,以及基于依存句法分析的图神经网络。虽然这些方法都有不错的性能,但我认为它们都遗漏了一个重要的语法信息:依赖标签。基于这一思想,本文提出了一种使用依赖标签的注意力机制模型来完成这一任务。我们在三个数据集上评估了所提出的方法:笔记本电脑和餐馆来自SemEval 2014,最后一个是Twitter数据集。实验结果表明,双注意力模型在所有三个数据集上都具有良好的性能。
2023-03-14 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
Function-words Enhanced Attention Networks for Few-Shot Inverse Relation Classification
Tianjin University(天津大学);Tianjin University-Aishu Data Intelligence Joint Laboratory(天津大学-爱数数据智能联合实验室)
关系分类是识别文本中两个实体之间的语义关系。虽然现有的模型在对大型数据集的逆关系进行分类时表现良好,但它们的性能在少样本学习中显着降低。本文提出了一种用于Few-Shot逆关系分类的功能词自适应增强注意力框架(FAEA),在该框架中,设计了一种基于元学习的混合注意力模型来关注类相关功能词。由于功能词的引入会导致类内冗余,引入自适应的消息传递机制来捕获和传递类间差异,并从点积度量的角度分析了功能词的负面影响,解释了消息传递机制有效降低这种影响的原因.实验结果表明,FAEA算法优于强基线算法,尤其是在FewRel1.0中,在单次激发条件下,反相关精度提高了14.33%.
2022-04-26 cs.CL
Text Classification Based on Knowledge Graphs and Improved Attention Mechanism
Chongqing Jiaotong University(重庆交通大学)
针对文本语义歧义问题,提出融合知识图谱与改进局部自注意力机制的Bi-GRU文本分类模型,通过信息增益选词、概念加权降噪优化分类,在多个数据集上取得有效准确率提升。
2024-01-27 cs.CL
Text Classification with Lexicon from PreAttention Mechanism
School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院)
在传统的文本分类方法中,一个全面的、高质量的词典起着至关重要的作用。提高了语言知识的利用率。虽然它对任务是有帮助的,但在最近的神经网络模型中,词汇很少受到关注。首先,获得高质量的词典并不容易。我们缺乏有效的自动化词典提取方法,大多数词典都是手工制作的,这对于大数据来说效率非常低。更重要的是,在神经网络中没有一种有效的方法来使用词典。针对这些局限性,本文提出了一种用于文本分类的预注意力机制,它可以根据不同单词在分类任务中的作用来学习它们的注意力。不同关注度的词可以组成一个领域词典。在三个基准文本分类任务上的实验表明,与现有的方法相比,我们的模型得到了有竞争力的结果。我们在Stanford Large Movie Review数据集上获得了90.5%的准确率,在Subjectivity数据集上获得了82.3%的准确率,在Movie Reviews上获得了93.7%的准确率。与没有引入预注意力机制的文本分类模型相比,引入预注意力机制的文本分类模型准确率提高了0.9%~ 2.4%,证明了预注意力机制的有效性。此外,预注意力机制表现良好,随后是不同类型的神经网络(例如,卷积神经网络和长短期记忆网络)。对于同一个数据集,当我们使用预注意力机制获取不同神经网络所遵循的注意力值时,那些具有高注意力值的单词具有很高的重合度,这证明了预注意力机制的通用性和可移植性。利用注意值可以得到稳定的词汇,是一种…
2020-02-18 cs.CL cs.LG
Incorporating Effective Global Information via Adaptive Gate Attention for Text Classification
Ant Financial Services Group(蚂蚁金融服务集团);City University of Hong Kong(香港城市大学);Lingnan University(岭南大学);Hong Kong Polytechnic University(香港理工大学)
主流的文本分类研究集中在仅使用文本实例或引入外部知识(例如,手工制作特征和领域专家知识)。相比之下,一些语料库级的统计特征,如词频和分布,没有得到很好的利用。我们的工作表明,这种简单的统计信息可以有效地提高分类性能和显着的几个基线模型相比。本文提出了一种基于全局信息的自适应门注意模型(AGA+GI),该模型将全局统计特征与潜在语义特征相结合,注意层捕捉句子内部的依赖关系。为了缓解过拟合问题,我们提出了一种新的漏失机制,以提高泛化能力和性能稳定性。我们的实验表明,所提出的方法可以实现更好的准确性比基于CNN和基于RNN的方法没有全局信息的几个基准。
2020-02-22 cs.CL
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology(南京理工大学)
【目的】为了理解一个句子的意思,人类可以专注于句子中的重要单词,这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此,一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征,还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先,我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后,从情感分类模型中学习每个句子的机器注意力值。最后,进行了比较,以分析机器注意力值和眼动跟踪值。[发现]通过实验,我们发现注意力机制可以集中在重要的词上,例如形容词、副词和情感词,这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点,阅读时关注句子中的重要单词。由于对注意力机制的学习不足,导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释,也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics(上海财经大学)
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前,忽略了标签文本中包含的暗示性信息。事实上,人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构,通过连体的BERT和名为IDEA(Interactive DoublE Attentions)的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息,这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法,具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Interactive Attention Networks for Aspect-Level Sentiment Classification
MOE Key Lab of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
情感层次的情感分类旨在识别特定目标在其上下文中的情感极性。以前的方法已经意识到目标在情感分类中的重要性,并开发了各种方法,其目标是通过生成特定于目标的表示来精确建模其上下文。然而,这些研究往往忽略了目标的单独建模。在本文中,我们认为,目标和上下文都值得特殊对待,需要通过互动学习来学习自己的表征。然后,我们提出了交互式注意力网络(IAN)的上下文和目标的交互式学习的注意力,并分别产生的目标和上下文的表示。通过这种设计,IAN模型可以很好地表示目标及其搭配上下文,这有助于情感分类。SemEval 2014数据集上的实验结果证明了我们模型的有效性。
2017-09-04 cs.AI cs.CL
Hierarchical Attentional Hybrid Neural Networks for Document Classification
Universidade Federal de Pernambuco(伯南布哥联邦大学)
文档分类是一项具有挑战性的任务,具有重要的应用。解决这个问题的深度学习方法最近受到了广泛关注。尽管取得了进展,所提出的模型没有有效地将文档结构的知识纳入体系结构中,也没有考虑到单词和句子的上下文重要性。在本文中,我们提出了一种新的方法,结合卷积神经网络,门控递归单元,和注意力机制的文件分类任务。本文的主要贡献是通过卷积层的分层表示来提取更有意义的、可推广的和抽象的特征。本文提出的方法改进了目前基于注意力的文档分类方法的结果。
2019-06-28 cs.AI cs.CL cs.LG
Amobee at SemEval-2018 Task 1: GRU Neural Network with a CNN Attention Mechanism for Sentiment Classification
Amobee
本文描述了Amobee在SemEval 2018上参与共享情感分析任务的情况。我们参与了所有的英语子任务和西班牙语效价任务。我们的系统由三个部分组成:训练特定于任务的词嵌入,训练一个由门控递归单元(GRU)和卷积神经网络(CNN)注意力机制组成的模型,并为每个子任务训练基于堆栈的集成。我们的算法分别在英语和西班牙语的价序分类子任务中达到了第3名和第1名。
2018-04-12 cs.CL stat.ML
LoGo: Token-Level Dynamic Local-Global Attention
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对Transformer长上下文注意力的计算瓶颈,提出令牌级动态局部-全局注意力LoGo,通过学习门控动态分配注意力范围,提升长距离检索性能并实现计算加速。
2026-09-01 cs.CL cs.LG
Fine-grained Information Status Classification Using Discourse Context-Aware Self-Attention
IBM Research Ireland(IBM爱尔兰研究院)
先前关于桥接回指识别的工作(Hou等人,2013a)将问题转换为学习细粒度信息状态(IS)的子任务。然而,这些系统严重依赖于许多手工制作的语言特征。本文提出了一种用于细粒度IS分类的语篇上下文感知自注意神经网络模型。在ISNotes语料库上(Markert等人,2012),我们的模型与上下文编码的单词表示(BERT)(Devlin et al.,2018)在细粒度IS分类方面实现了新的最先进性能,与Hou等人(2013 a)相比,获得了4.1%的绝对整体准确性提高。更重要的是,我们还显示了3.9%F1的改进桥接回指识别,而不使用任何复杂的手工制作的语义功能,旨在捕捉桥接现象。
2019-08-13 cs.AI cs.CL
Multi-Scale Self-Attention for Text Classification
Fudan University(复旦大学);AWS Shanghai AI Lab(AWS上海人工智能实验室);New York University Shanghai(上海纽约大学)
在本文中,我们引入先验知识,多尺度结构,自注意模块。我们提出了一种多尺度的Transformer,它使用多尺度多头自注意力来捕获不同尺度的特征。基于语言学的观点和对大规模语料库上预训练的Transformer(BERT)的分析,我们进一步设计了一种控制各层规模分布的策略。三种不同类型的任务(21个数据集)的结果表明,我们的多尺度Transformer优于标准的Transformer一致和显着的中小规模的数据集。
2019-12-02 cs.CL cs.LG
Selective Attention Federated Learning: Improving Privacy and Efficiency for Clinical Text Classification
Independent Researcher(独立研究者)
针对联邦学习训练大语言模型在医疗文本分类中的通信与隐私挑战,提出选择性注意力联邦学习(SAFL),仅微调注意力关键层,在保持性能的同时显著提升通信效率和隐私保护。
2025-04-18 cs.AI cs.CL
Cross-Target Stance Classification with Self-Attention Networks
CSIRO Data61(联邦科学与工业研究组织数据61研究所)
在姿态分类中,姿态所处的目标定义了任务的边界,并且分类器通常被训练用于对同一目标进行预测。在这项工作中,我们探索了在不同目标之间推广分类器的潜力,并提出了一个神经模型,可以将从源目标学到的东西应用到目的地目标。我们表明,我们的模型可以找到相关目标之间共享的有用信息,从而在某些情况下提高泛化能力。
2018-07-11 cs.AI cs.CL
Telling BERT's full story: from Local Attention to Global Aggregation
ETH Zurich(苏黎世联邦理工学院)
我们深入研究了Transformer架构中自我注意头的行为。鉴于最近的工作不鼓励使用注意力分布来解释模型的行为,我们表明注意力分布仍然可以提供对注意力头部的本地行为的见解。通过这种方式,我们提出了注意力揭示的局部模式和参考输入的全局模式之间的区别,并从两个角度分析BERT。我们使用梯度属性来分析注意力头部的输出如何依赖于输入标记,有效地扩展了基于局部注意力的分析,以解释整个Transformer层的信息混合。我们发现,有一个显着的差异之间的注意和归因分布,造成的混合模型内的上下文。我们量化了这种差异,并观察到有趣的是,尽管混合,但在所有层中仍然存在一些模式。
2021-01-13 cs.CL cs.LG
Temporal Attention-Gated Model for Robust Sequence Classification
Carnegie Mellon University(卡内基梅隆大学);Delft University of Technology(代尔夫特理工大学)
用于序列分类的典型技术被设计用于已被编辑以去除噪声或不相关部分的良好分段的序列。因此,这样的方法不能容易地应用于在现实世界的应用中预期的噪声序列。在本文中,我们提出了时间注意门控模型(TAGM),它集成了注意力模型和门控递归网络的思想,以更好地处理噪声或未分割的序列。具体来说,我们扩展了注意力模型的概念,以衡量序列的每个观察(时间步)的相关性。然后,我们使用一种新的门控递归网络来学习最终预测的隐藏表示。我们的方法的一个重要优势是可解释性,因为时间注意力权重提供了一个有意义的值的序列中的每个时间步的显着性。我们证明了我们的TAGM方法的优点,无论是预测精度和可解释性,在三个不同的任务:语音数字识别,基于文本的情感分析和视觉事件识别。
2017-04-15 cs.CL cs.CV
From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification
Unbabel Lda(Unbabel有限公司);Instituto de Telecomunicações (IT)(电信研究所(IT));Instituto Superior Técnico(高等技术学院);Instituto de Engenharia de Sistemas e Computadores (INESC-ID)(系统与计算机工程研究所(INESC-ID))
我们提出了sparsemax,一个新的激活函数类似于传统的softmax,但能够输出稀疏的概率。在推导出它的属性之后,我们展示了如何有效地计算它的雅可比矩阵,使其能够在用反向传播训练的网络中使用。然后,我们提出了一个新的光滑和凸的损失函数,这是稀疏的模拟逻辑损失。我们揭示了一个意想不到的这种新的损失和Huber分类损失之间的联系。我们在多标签分类问题和基于注意力的神经网络自然语言推理中获得了有希望的实证结果。对于后者,我们实现了与传统softmax类似的性能,但具有选择性,更紧凑,注意力集中。
2016-02-08 cs.CL cs.LG stat.ML
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University(阿尔托大学)
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而,关于这个主题的现有研究主要利用卷积和递归神经网络,它们通常比新型Transformers的性能要差。另一方面,应用Transformers的系统只关注目标文档,忽略了标签描述所包含的丰富语义信息。为了解决这个问题,我们开发了一个基于transformer的生物医学文本分类器,考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型(PTM)。我们在两个公共医疗数据集上的结果表明,所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
A Simple Attention-Based Mechanism for Bimodal Emotion Classification
University of Sunderland(桑德兰大学);Sunderland(桑德兰)
本文提出一种引入注意力机制的双模态深度学习架构,融合文本与语音数据进行情感分类,实验表明其性能优于仅用单一模态的模型及多个现有最优系统。
2024-06-28 cs.AI cs.CL cs.LG
An Attention-Gated Convolutional Neural Network for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center(国家数字交换系统工程技术研究中心);Eindhoven University of Technology(埃因霍温理工大学)
由于句子包含的上下文信息有限,因此句子的分类是一个非常具有挑战性的问题。在本文中,我们提出了一个注意力门控卷积神经网络(AGCNN)的句子分类,它产生的注意力权重从不同大小的功能的上下文窗口通过使用专门的卷积编码器。它充分利用有限的上下文信息,提取并增强了重要特征对句子类别预测的影响。实验结果表明,我们的模型可以实现比标准CNN模型高出3.1%的准确率,并在六个任务中的四个任务上获得比基线更有竞争力的结果。此外,我们还设计了一个激活函数,即自然对数重标度整流线性单元(NLReLU)。实验表明,NLReLU可以优于ReLU,并且与AGCNN上的其他知名激活函数相当。
2018-12-28 cs.CL cs.LG
Multimodal Depression Classification Using Articulatory Coordination Features And Hierarchical Attention Based Text Embeddings
University of Maryland - College Park(马里兰大学帕克分校)
近年来,多模式抑郁症分类得到了极大的普及。我们开发了一个多模态抑郁症分类系统,使用发音协调功能提取声道变量和文本transmittance从自动语音识别工具,产生改善的接收器操作特征曲线下的面积相比,单峰分类(7.5%和13.7%的音频和文本分别)。我们表明,在训练数据有限的情况下,可以首先训练分段级分类器,然后使用多级卷积递归神经网络在不影响性能的情况下获得会话预测。使用分层注意力网络(HAN)训练文本模型。多模态系统是通过将会话级音频模型和HAN文本模型的嵌入相结合来开发的
2022-02-13 cs.CL eess.AS
Dynamic Multimodal Sentiment Analysis: Leveraging Cross-Modal Attention for Enabled Classification
本研究针对多模态情感分类问题,在transformer架构下对比三种融合策略,基于CMU-MOSEI数据集验证早期融合效果更优,为多模态情感分析的特征融合方向提供参考。
2025-01-14 cs.CL cs.LG
CMA-CLIP: Cross-Modality Attention CLIP for Image-Text Classification
Stony Brook University(石溪大学);Amazon Inc.(亚马逊公司)
社交媒体和电子商务等现代Web系统包含以图像和文本表达的丰富内容。利用来自多模态的信息可以提高分类和推荐等机器学习任务的性能。在本文中,我们提出了跨模态注意力对比存储-图像预训练(CMA-CLIP),一个新的框架,它统一了两种类型的跨模态注意力,序列式注意力和模态式注意力,有效地融合信息的图像和文本对。序列式注意力使框架能够捕获图像块和文本标记之间的细粒度关系,而模态式注意力则通过其与下游任务的相关性来衡量每个模态。此外,通过添加任务特定的模态明智的注意力和多层感知器,我们提出的框架是能够执行多任务分类与多模态。我们在一个主要零售网站产品属性(MRWPA)数据集和两个公共数据集Food 101和Fashion-Gen上进行了实验,结果表明,CMA-CLIP在MRWPA数据集上进行多任务分类时,在相同的精度水平下,在召回率上平均优于预训练和微调的CLIP 11.9%。它的准确性也超过了Fashion-Gen数据集上最先进的方法5.5%,并在Food 101数据集上实现了竞争性性能。通过详细的消融研究,我们进一步证明了跨模态注意模块的有效性和我们的方法对图像和文本输入中的噪声的鲁棒性,这是实践中的一个共同挑战。
2021-12-09 cs.CL cs.CV cs.LG
AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification
Seoul National University(首尔国立大学);Automation and Systems Research Institute, Seoul National University(首尔国立大学自动化与系统研究所)
在本文中,我们提出了一个基于注意力的分类器,预测一个给定的句子的多种情绪。我们的模型模仿人类的句子理解的两步过程,它可以有效地表示和分类的句子。通过表情符号到含义的预处理和额外的词典利用,我们进一步提高了模型的性能。我们用SemEval-2018任务1-5提供的数据训练和评估我们的模型,其中每个句子在11个给定的情感中有几个标签。我们的模型在英语/西班牙语中分别达到了第5/第1等级。
2018-04-17 cs.CL cs.LG cs.NE
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI(亚马逊人工智能);University of Washington(华盛顿大学)
自注意在自然语言处理中的成功,导致最近的应用在端到端的编码器-解码器架构的语音识别。另外,连接主义时间分类(CTC)已经成熟为一个无干扰,非自回归的方法,序列转导,无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC,一个深度的,完全自我注意的CTC网络,并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快,性能优于现有的CTC模型和大多数编码器-解码器模型,在WSJ eval 92上1天内的字符错误率(CER)为4.7%,在LibriSpeech test-clean上1周内为2.8%,具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话,评估位置和下采样方法,并探讨标签字母(字符,音素,子字)如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD
AttentionViz: A Global View of Transformer Attention
Harvard University(哈佛大学);Google(谷歌)
本文提出AttentionViz交互式可视化工具,通过联合嵌入query和key向量揭示Transformer注意力的全局模式,并验证其在语言和视觉模型理解中的价值。
2023-08-09 cs.CL cs.CV cs.HC