CMA-CLIP: Cross-Modality Attention CLIP for Image-Text Classification
Stony Brook University(石溪大学);Amazon Inc.(亚马逊公司)
社交媒体和电子商务等现代Web系统包含以图像和文本表达的丰富内容。利用来自多模态的信息可以提高分类和推荐等机器学习任务的性能。在本文中,我们提出了跨模态注意力对比存储-图像预训练(CMA-CLIP),一个新的框架,它统一了两种类型的跨模态注意力,序列式注意力和模态式注意力,有效地融合信息的图像和文本对。序列式注意力使框架能够捕获图像块和文本标记之间的细粒度关系,而模态式注意力则通过其与下游任务的相关性来衡量每个模态。此外,通过添加任务特定的模态明智的注意力和多层感知器,我们提出的框架是能够执行多任务分类与多模态。我们在一个主要零售网站产品属性(MRWPA)数据集和两个公共数据集Food 101和Fashion-Gen上进行了实验,结果表明,CMA-CLIP在MRWPA数据集上进行多任务分类时,在相同的精度水平下,在召回率上平均优于预训练和微调的CLIP 11.9%。它的准确性也超过了Fashion-Gen数据集上最先进的方法5.5%,并在Food 101数据集上实现了竞争性性能。通过详细的消融研究,我们进一步证明了跨模态注意模块的有效性和我们的方法对图像和文本输入中的噪声的鲁棒性,这是实践中的一个共同挑战。
2021-12-09 cs.CL cs.CV cs.LG
A Novel Perspective to Look At Attention: Bi-level Attention-based Explainable Topic Modeling for News Classification
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学学院)
针对深度学习注意力机制在NLP任务中可解释性不足的问题,提出基于双层注意力架构的可解释主题建模框架,将解释与决策解耦,在新闻分类任务上性能达最优水平且具备良好可解释性。
2022-10-27 cs.CL
geoGAT: Graph Model Based on Attention Mechanism for Geographic Text Classification
Northeast Forestry University(东北林业大学);Tsinghua University(清华大学);Embry-Riddle Aeronautical University(安柏瑞德航空大学)
在地理信息处理领域。地理文本分类的研究较少。但该任务在中文中的应用相对较少。在我们的工作中,我们打算实现一种方法,从大量的网络文本中提取包含地理实体的文本。这些文本中的地理信息对交通、城乡规划、救灾等领域具有重要的现实意义。我们使用带有注意力机制的图卷积神经网络的方法来实现这一功能。图注意力网络是图卷积神经网络的一种改进。与GCN相比,GAT的优点在于提出了注意力机制,对相邻节点的特征之和进行加权。此外,我们从多个中文文本分类数据集中构造了一个包含地理分类的中文文本数据集。我们使用的GeoGAT的Macro-F分数在新的中国数据集上达到95%。
2021-01-13 cs.CL
A Simple Meta-learning Paradigm for Zero-shot Intent Classification with Mixture Attention Mechanism
Dalian University of Technology(大连理工大学);Peking University(北京大学)
Zero-shot意图分类是对话系统中一项重要且具有挑战性的任务,其目的是在没有标注训练数据的情况下处理大量快速出现的未知意图。为了获得更好的性能,关键在于两个方面:提取更好的话语特征和增强模型的泛化能力。在本文中,我们提出了一个简单而有效的元学习范式的zero-shot意图分类。为了更好地学习话语的语义表示,我们引入了一种新的混合注意力机制,该机制通过同时利用分布式签名注意力和多层感知器注意力来编码相关的单词出现模式。为了增强模型从可见类到不可见类的迁移能力,我们采用元学习策略对zero-shot意图分类进行了重构,通过在可见类上模拟多个zero-shot分类任务来训练模型,并在模拟不可见类上采用元自适应过程来提高模型的泛化能力.在两个不同语言的真实对话数据集上进行的大量实验表明,我们的模型在标准和广义zero-shot意图分类任务上都优于其他强基线。
2022-06-05 cs.CL
Resilient Combination of Complementary CNN and RNN Features for Text Classification through Attention and Ensembling
Swisscom AG(瑞士电信股份公司)
现有的文本分类方法包括预处理、特征提取和后处理等几个不同的步骤。在这项工作中,我们专注于端到端的神经架构,并表明文本分类的最佳性能是通过组合来自不同神经模块的信息来获得的。具体地说,我们结合卷积,经常性和注意模块集成方法,并表明它们是互补的。我们介绍ECGA,一个端到端的去到架构的新颖的文本分类任务。我们证明了它是有效的和强大的,因为它达到或超过了最先进的各种数据集,包括低和高的数据制度。
2019-03-28 cs.CL
Deep Short Text Classification with Knowledge Powered Attention
Fudan University(复旦大学);CETC Big Data Research Institute Co.,Ltd.(中国电子科技集团大数据研究院有限公司);Shanghai Institute of Intelligent Electronics & Systems(上海智能电子与系统研究院);Shuyan Technology(书颜科技);Alibaba Group(阿里巴巴集团)
短文本分类是自然语言处理的重要任务之一。与段落或文档不同,短文本由于没有足够的上下文信息而更加模糊,这对分类提出了很大的挑战。在本文中,我们从外部知识源检索知识,以增强短文本的语义表示。我们将概念信息作为一种知识,并将其纳入深度神经网络。为了度量知识的重要性,我们引入了注意力机制,提出了基于知识驱动注意力的深度短文本分类(STCKA)。我们利用面向短文本的概念(C-ST)注意力和面向概念集的概念(C-CS)注意力从两个方面获取概念的权重。并在概念信息的帮助下对短文进行分类。与传统方法不同,我们的模型就像一个人一样,具有基于观察做出决策的内在能力(即,机器的训练数据),并更多地关注重要知识。我们还针对不同的任务在四个公共数据集上进行了广泛的实验。实验结果和案例研究表明,我们的模型优于国家的最先进的方法,证明了知识驱动的注意力的有效性。
2019-02-21 cs.CL
Be More with Less: Hypergraph Attention Networks for Inductive Text Classification
Arizona State University(亚利桑那州立大学);Texas A&M University(得克萨斯农工大学);University of Virginia(弗吉尼亚大学);Amazon Inc.(亚马逊公司)
文本分类是自然语言处理中一个重要的研究课题,具有广泛的应用前景。最近,图神经网络(GNNs)在研究界受到越来越多的关注,并在这个典型的任务上展示了他们有前途的结果。尽管取得了成功,但它们的性能在实践中可能会受到很大程度的影响,因为它们:(1)无法捕获单词之间的高阶交互;(2)处理大型数据集和新文档的效率低下。为了解决这些问题,本文提出了一种基于超图注意力网络(Hypergraph Attention Networks,HyperGAT)的文本表示学习模型。在各种基准数据集上的大量实验证明了该方法在文本分类任务上的有效性。
2020-11-01 cs.CL
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的,这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构,如Kim,Yoon的用于句子分类的卷积神经网络,显示了有希望的结果。在本文中,我们提出了将注意力机制纳入网络,以提高其性能,我们还提出了WordRank的词汇选择,以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法,TextCNN在20News上的准确度从94.79提高到96.88,此外,通过使用WordRank,嵌入层的参数数量可以大大减少,而准确度损失很小。通过使用WordRank进行词汇选择,我们可以将参数的数量减少5倍以上,从7.9M减少到1.5M,准确率仅下降1.2%。
2021-08-04 cs.CL
Dual-Attention Model for Aspect-Level Sentiment Classification
East China University of Science and Technology(华东理工大学)
我提出了一种新的双注意力模型(DAM)的方面级情感分类。人们提出了许多方法,如用于人工设计特征的支持向量机,基于注意力机制的长短期记忆网络,以及基于依存句法分析的图神经网络。虽然这些方法都有不错的性能,但我认为它们都遗漏了一个重要的语法信息:依赖标签。基于这一思想,本文提出了一种使用依赖标签的注意力机制模型来完成这一任务。我们在三个数据集上评估了所提出的方法:笔记本电脑和餐馆来自SemEval 2014,最后一个是Twitter数据集。实验结果表明,双注意力模型在所有三个数据集上都具有良好的性能。
2023-03-14 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
Text Classification Based on Knowledge Graphs and Improved Attention Mechanism
Chongqing Jiaotong University(重庆交通大学)
针对文本语义歧义问题,提出融合知识图谱与改进局部自注意力机制的Bi-GRU文本分类模型,通过信息增益选词、概念加权降噪优化分类,在多个数据集上取得有效准确率提升。
2024-01-27 cs.CL
TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent(腾讯公司)
文本表示是自然语言处理中的一个基本问题,尤其是在文本分类中。最近,许多具有精细表示模型的神经网络方法(例如FASTTEXT,CNN,RNN和许多具有注意力机制的混合模型)声称它们在特定的文本分类数据集上达到了最先进的水平。然而,它缺乏一个统一的基准来比较这些模型,并揭示每个子组件的优势,为各种设置。我们重新实现了20多个流行的文本表示模型,用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考,并对上述结果进行了分析,得到了一些效果。
2018-03-19 cs.CL
Incorporating Effective Global Information via Adaptive Gate Attention for Text Classification
Ant Financial Services Group(蚂蚁金融服务集团);City University of Hong Kong(香港城市大学);Lingnan University(岭南大学);Hong Kong Polytechnic University(香港理工大学)
主流的文本分类研究集中在仅使用文本实例或引入外部知识(例如,手工制作特征和领域专家知识)。相比之下,一些语料库级的统计特征,如词频和分布,没有得到很好的利用。我们的工作表明,这种简单的统计信息可以有效地提高分类性能和显着的几个基线模型相比。本文提出了一种基于全局信息的自适应门注意模型(AGA+GI),该模型将全局统计特征与潜在语义特征相结合,注意层捕捉句子内部的依赖关系。为了缓解过拟合问题,我们提出了一种新的漏失机制,以提高泛化能力和性能稳定性。我们的实验表明,所提出的方法可以实现更好的准确性比基于CNN和基于RNN的方法没有全局信息的几个基准。
2020-02-22 cs.CL
IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics(上海财经大学)
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前,忽略了标签文本中包含的暗示性信息。事实上,人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构,通过连体的BERT和名为IDEA(Interactive DoublE Attentions)的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息,这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法,具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Revisiting Transformer-based Models for Long Document Classification
CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);University of Copenhagen(哥本哈根大学);Pioneer Centre for AI(人工智能先锋中心)
最近的文本分类文献偏向于短文本序列(例如,句子或段落)。在现实世界的应用程序中,多页多段落的文档是常见的,它们不能被基于transformer的模型有效地编码。我们比较了不同的基于变换器的长文档分类(TrLDC)方法,旨在减轻香草Transformers编码更长文本的计算开销,即稀疏注意和分层编码方法。我们研究了稀疏注意力的几个方面(例如,局部注意力窗口的大小,全局注意力的使用)和分层(例如,文档分割策略)转换器在覆盖不同域的四个文档分类数据集上进行。我们观察到一个明显的好处,能够处理较长的文本,并根据我们的研究结果,我们得到了实用的建议,应用基于transformer的模型长文档分类任务。
2022-10-25 cs.CL
Dynamic Adaptive Attention and Supervised Contrastive Learning: A Novel Hybrid Framework for Text Sentiment Classification
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种结合动态自适应注意力与监督对比学习的混合框架,用于提升文本情感分类的准确性,实验表明其在IMDB数据集上达到94.67%的准确率,优于现有基线模型。
2026-04-12 cs.CL
Amobee at SemEval-2018 Task 1: GRU Neural Network with a CNN Attention Mechanism for Sentiment Classification
Amobee
本文描述了Amobee在SemEval 2018上参与共享情感分析任务的情况。我们参与了所有的英语子任务和西班牙语效价任务。我们的系统由三个部分组成:训练特定于任务的词嵌入,训练一个由门控递归单元(GRU)和卷积神经网络(CNN)注意力机制组成的模型,并为每个子任务训练基于堆栈的集成。我们的算法分别在英语和西班牙语的价序分类子任务中达到了第3名和第1名。
2018-04-12 cs.CL stat.ML
Selective Attention Federated Learning: Improving Privacy and Efficiency for Clinical Text Classification
Independent Researcher(独立研究者)
针对联邦学习训练大语言模型在医疗文本分类中的通信与隐私挑战,提出选择性注意力联邦学习(SAFL),仅微调注意力关键层,在保持性能的同时显著提升通信效率和隐私保护。
2025-04-18 cs.AI cs.CL
Cross-Target Stance Classification with Self-Attention Networks
CSIRO Data61(联邦科学与工业研究组织数据61研究所)
在姿态分类中,姿态所处的目标定义了任务的边界,并且分类器通常被训练用于对同一目标进行预测。在这项工作中,我们探索了在不同目标之间推广分类器的潜力,并提出了一个神经模型,可以将从源目标学到的东西应用到目的地目标。我们表明,我们的模型可以找到相关目标之间共享的有用信息,从而在某些情况下提高泛化能力。
2018-07-11 cs.AI cs.CL
Temporal Attention-Gated Model for Robust Sequence Classification
Carnegie Mellon University(卡内基梅隆大学);Delft University of Technology(代尔夫特理工大学)
用于序列分类的典型技术被设计用于已被编辑以去除噪声或不相关部分的良好分段的序列。因此,这样的方法不能容易地应用于在现实世界的应用中预期的噪声序列。在本文中,我们提出了时间注意门控模型(TAGM),它集成了注意力模型和门控递归网络的思想,以更好地处理噪声或未分割的序列。具体来说,我们扩展了注意力模型的概念,以衡量序列的每个观察(时间步)的相关性。然后,我们使用一种新的门控递归网络来学习最终预测的隐藏表示。我们的方法的一个重要优势是可解释性,因为时间注意力权重提供了一个有意义的值的序列中的每个时间步的显着性。我们证明了我们的TAGM方法的优点,无论是预测精度和可解释性,在三个不同的任务:语音数字识别,基于文本的情感分析和视觉事件识别。
2017-04-15 cs.CL cs.CV
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University(阿尔托大学)
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而,关于这个主题的现有研究主要利用卷积和递归神经网络,它们通常比新型Transformers的性能要差。另一方面,应用Transformers的系统只关注目标文档,忽略了标签描述所包含的丰富语义信息。为了解决这个问题,我们开发了一个基于transformer的生物医学文本分类器,考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型(PTM)。我们在两个公共医疗数据集上的结果表明,所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Attention Is Indeed All You Need: Semantically Attention-Guided Decoding for Data-to-Text NLG
University of California, Santa Cruz(加州大学圣克鲁兹分校)
自从神经模型在数据到文本的语言生成中被采用以来,它们总是依赖于外部组件来提高其语义准确性,因为模型通常不具有生成可靠地提到输入中提供的所有信息的文本的能力。在本文中,我们提出了一种新的解码方法,从编码器-解码器模型的交叉注意中提取可解释的信息,并使用它来推断生成的文本中提到了哪些属性,随后用于重新评分波束假设。使用T5和BART的这种解码方法,我们在三个数据集上展示了它在生成的输出中显着减少语义错误的能力,同时保持其最先进的质量。
2021-09-15 cs.CL cs.LG
An Attention-Gated Convolutional Neural Network for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center(国家数字交换系统工程技术研究中心);Eindhoven University of Technology(埃因霍温理工大学)
由于句子包含的上下文信息有限,因此句子的分类是一个非常具有挑战性的问题。在本文中,我们提出了一个注意力门控卷积神经网络(AGCNN)的句子分类,它产生的注意力权重从不同大小的功能的上下文窗口通过使用专门的卷积编码器。它充分利用有限的上下文信息,提取并增强了重要特征对句子类别预测的影响。实验结果表明,我们的模型可以实现比标准CNN模型高出3.1%的准确率,并在六个任务中的四个任务上获得比基线更有竞争力的结果。此外,我们还设计了一个激活函数,即自然对数重标度整流线性单元(NLReLU)。实验表明,NLReLU可以优于ReLU,并且与AGCNN上的其他知名激活函数相当。
2018-12-28 cs.CL cs.LG
Aspect Level Sentiment Classification with Attention-over-Attention Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
语义级情感分类的目的是识别给定上下文句子对某些方面表达的情感。在本文中,我们介绍了一个关注过度关注(AOA)的神经网络方面的水平情感分类。我们的方法模型方面和句子的联合方式,并明确捕捉方面和上下文句子之间的相互作用。通过AOA模块,我们的模型联合学习方面和句子的表示,并自动关注句子中的重要部分。我们在笔记本电脑和餐厅数据集上的实验表明,我们的方法优于以前的基于LSTM的架构。
2018-04-18 cs.CL
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University(北京大学)
文本摘要和情感分类都旨在捕捉文本的主要思想,但在不同的层次上。文本摘要是在几个句子内描述文本,而情感分类可以被视为一种特殊类型的摘要,它将文本“概括”成更抽象的方式,即,情感课基于这一思想,我们提出了一个分层的端到端模型,用于文本摘要和情感分类的联合学习,其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此,情感分类层放在文本摘要层上,并导出层次结构。在Amazon在线评论数据集上的实验结果表明,该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
Supervised Domain Enablement Attention for Personalized Domain Classification
Amazon Alexa(亚马逊Alexa)
在用于自然语言理解的大规模域分类中,利用每个用户的域启用信息(其指用户的优选或认证域)与注意力机制已经被示出为提高整体域分类性能。在本文中,我们提出了一个监督使能注意力机制,它利用sigmoid激活的注意力加权,使注意力可以计算具有更大的表达能力,而没有权重和约束的softmax注意力。通过监督注意力,明确鼓励注意力权重与地面实况的独热向量的对应元素相似,并且通过自蒸馏利用其他启用域的注意力信息。通过对大规模IPDA的实际话语进行评估,我们表明我们的方法显着提高了域分类性能。
2018-12-18 cs.CL
Japanese Sentiment Classification using a Tree-Structured Long Short-Term Memory with Attention
Yahoo Japan Corporation(雅虎日本公司);Graduate School of System Design(系统设计研究生院);Tokyo Metropolitan University(东京都立大学)
以前训练基于语法的情感分类模型的方法需要短语级注释语料库,这在英语以外的许多语言中并不容易获得。因此,我们建议使用树结构的长短期记忆与注意力机制,注意到每个子树的解析树。实验结果表明,我们的模型达到了最先进的性能在日本的情感分类任务。
2018-09-30 cs.CL
Neural Attention Models for Sequence Classification: Analysis and Application to Key Term Extraction and Dialogue Act Detection
Graduate Institute of Communication Engineering National Taiwan University
结合注意力机制或神经注意力模型的递归神经网络结构最近在语音识别、图像字幕生成、视觉问答和机器翻译等任务中表现出了良好的性能。本文将神经注意力模型应用于两个序列分类任务:对话行为检测和关键词提取。在序列标记任务中,模型输入是一个序列,输出是输入序列的标签。序列标记的主要困难是当输入序列很长时,它可能包含许多噪声或不相关的部分。如果对整个序列中的信息进行同等对待,则噪声或无关部分可能会降低分类性能。由于注意力机制能够突出整个序列中的重要部分,从而有助于序列分类任务。实验结果表明,与注意力机制,在这里考虑的序列标记任务取得了明显的改善。本文进一步分析和可视化了注意力机制在任务中的作用。
2016-03-31 cs.CL
Improving Review Representations with User Attention and Product Attention for Sentiment Classification
Nanjing University(南京大学)
神经网络方法在评论情感分类中取得了巨大的成功。最近,一些作品取得了改进,通过将用户和产品信息,以产生一个评论表示。然而,在评论中,我们观察到一些词或句子表现出强烈的用户偏好,而另一些则倾向于指示产品的特性。这两种信息在确定评论的情感标签时起着不同的作用。因此,将用户和产品信息一起编码到一个表示中是不合理的。在本文中,我们提出了一个新的框架来编码用户和产品信息。首先,我们应用两个独立的分层神经网络来生成两个表示,用户注意力或产品注意力。然后,我们设计了一种组合策略,充分利用这两种表示进行训练和最终预测。实验结果表明,该模型在IMDB和Yelp数据集上的性能明显优于其他现有方法。通过对用户或产品相关词的注意力可视化,我们验证了上述观察结果。
2018-01-24 cs.CL cs.IR cs.LG
A Simple Attention-Based Mechanism for Bimodal Emotion Classification
University of Sunderland(桑德兰大学);Sunderland(桑德兰)
本文提出一种引入注意力机制的双模态深度学习架构,融合文本与语音数据进行情感分类,实验表明其性能优于仅用单一模态的模型及多个现有最优系统。
2024-06-28 cs.AI cs.CL cs.LG
Attention Transfer Network for Aspect-level Sentiment Classification
Nanjing University(南京大学)
情感分类(ASC)的目的是检测句子中给定的意见目标的情感极性。在基于神经网络的情感支持向量机方法中,大多数研究都是利用注意力机制来捕获与目标意见相对应的情感词,然后将其聚合为证据来推断目标意见。然而,由于注释的复杂性,方面级数据集的规模都相对较小。数据稀缺性导致注意力机制有时无法关注目标对应的情感词,最终削弱了神经模型的性能。为了解决这个问题,本文提出了一种新的注意力转移网络(ATN),它可以成功地利用资源丰富的文档级情感分类数据集的注意力知识,以提高方面级情感分类任务的注意力能力。在ATN模型中,我们设计了两种不同的方法来转移注意力知识,并在两个ASC基准数据集上进行了实验。大量的实验结果表明,我们的方法始终优于国家的最先进的作品。进一步的分析也验证了ATN的有效性。
2020-10-23 cs.CL
Advancing Connectionist Temporal Classification With Attention Modeling
Microsoft(微软)
在这项研究中,我们提出了推进全神经语音识别直接将注意力建模的连接时间分类(CTC)框架。特别是,我们使用时间卷积特征来推导新的上下文向量,以将注意力建模为CTC网络的一部分。为了进一步改进注意力建模,我们利用从表示隐式语言模型的网络中提取的内容信息。最后,我们引入了基于向量的注意力权重,这些权重应用于时间和各个分量的上下文向量。我们评估我们的系统上3400小时的Microsoft Cortana语音助手任务,并证明我们提出的模型始终优于基线模型,实现约20%的相对减少字出错率。
2018-03-15 cs.CL
Hierarchical Attentional Hybrid Neural Networks for Document Classification
Universidade Federal de Pernambuco(伯南布哥联邦大学)
文档分类是一项具有挑战性的任务,具有重要的应用。解决这个问题的深度学习方法最近受到了广泛关注。尽管取得了进展,所提出的模型没有有效地将文档结构的知识纳入体系结构中,也没有考虑到单词和句子的上下文重要性。在本文中,我们提出了一种新的方法,结合卷积神经网络,门控递归单元,和注意力机制的文件分类任务。本文的主要贡献是通过卷积层的分层表示来提取更有意义的、可推广的和抽象的特征。本文提出的方法改进了目前基于注意力的文档分类方法的结果。
2019-06-28 cs.AI cs.CL cs.LG
Iterative Recursive Attention Model for Interpretable Sequence Classification
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算学院)
自然语言处理从注意力机制的引入中受益匪浅。然而,标准的注意力模型是有限的可解释性的任务,涉及一系列的推理步骤。我们描述了一个迭代递归注意力模型,该模型通过重用先前计算的查询结果来构造输入数据的增量表示。我们在情感分类数据集上训练我们的模型,并展示了它以易于解释的方式识别和组合输入的不同方面的能力,同时获得接近最先进水平的性能。
2018-08-30 cs.CL
Attentional Encoder Network for Targeted Sentiment Classification
Sun Yat-sen University(中山大学)
有针对性的情感分类旨在确定对特定目标的情感倾向。以前的大多数方法都是用RNN和注意力来建模上下文和目标词。然而,RNN很难并行化,并且通过时间截断的反向传播在记住长期模式方面带来了困难。为了解决这个问题,本文提出了一种注意编码器网络(AEN),它避免了递归,并采用基于注意的编码器的上下文和目标之间的建模。我们提出了标签不可靠性问题,并引入标签平滑正则化。我们还将预训练的BERT应用于此任务,并获得了新的最先进的结果。实验和分析表明,我们的模型的有效性和轻量级。
2019-04-01 cs.CL
Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
大多数神经网络的关系分类方法都集中在使用卷积神经网络(CNN)来寻找表示语义关系的短模式,并且这些方法通常比使用递归神经网络(RNN)获得更好的性能。在与CNN模型类似的直觉中,我们提出了一种新的基于RNN的模型,该模型使用多个范围限制的双向层和对关系分类的关注,只关注句子的重要部分。SemEval-2010关系分类任务的实验结果表明,我们的模型与使用额外语言信息的最先进的基于CNN和基于RNN的模型相当。
2017-11-01 cs.CL
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Carnegie Mellon University(卡内基梅隆大学)
方面级情感分类旨在识别给定上下文句子的方面所表达的情感。以前的基于神经网络的方法在很大程度上忽略了一个句子中的句法结构。在本文中,我们提出了一种新的目标依赖图注意力网络(TD-GAT)的方面级别的情感分类,明确利用词之间的依赖关系。使用依赖图,它直接从方面目标的语法上下文传播情感特征。在我们的实验中,我们证明了我们的方法优于GloVe嵌入的多个基线。我们还证明,使用BERT表示进一步大幅提高性能。
2019-09-05 cs.CL
Dialogue Act Classification with Context-Aware Self-Attention
Grammarly
最近在Dialogue Act分类中的工作已经将任务视为使用分层深度神经网络的序列标记问题。我们建立在这个以前的工作,利用上下文感知的自我注意力机制的有效性,再加上一个层次循环神经网络。我们对标准对话法分类数据集进行了广泛的评估,并显示出对交换机对话法(SwDA)语料库的最新结果的显着改善。我们还研究了不同的话语级表示学习方法的影响,并表明我们的方法是有效的,在捕获话语级语义文本表示,同时保持高准确性。
2019-05-06 cs.CL
A Multi-sentiment-resource Enhanced Attention Network for Sentiment Classification
Tsinghua University(清华大学);Peking University(北京大学)
用于情感分类的深度学习方法没有充分利用情感语言学知识。在本文中,我们提出了一个多情感资源增强注意力网络(MEAN),通过整合三种情感语言知识(例如,情感词汇、否定词、强度词)经由注意力机制输入到深度神经网络中。通过使用各种类型的情感资源,MEAN利用来自不同表示子空间的情感相关信息,这使得它更有效地捕捉情感,否定和强度词的整体语义用于情感预测。实验结果表明,MEAN算法具有较强的鲁棒性.
2018-07-13 cs.CL
Jointly Trained Sequential Labeling and Classification by Sparse Attention Neural Networks
Oregon State University(俄勒冈州立大学);IBM(国际商业机器公司)
句级分类和序列标注是语言理解的两项基本任务。虽然这两个任务通常是单独建模的,但实际上,它们通常是相关的,例如在意图分类和槽填充中,或者在主题分类和命名实体识别中。为了利用它们之间的相关性带来的潜在好处,我们提出了一个联合训练的模型,用于通过长短期记忆(LSTM)网络同时学习这两个任务。该模型从LSTM的逐步输出隐藏表示中预测词级类别和词级标签序列。我们还引入了一种新的机制,“稀疏注意力”,以不同的加权词的语义相关性的基础上,以分级分类。该方法在ATIS和TREC数据集上的性能优于基线模型。
2017-09-28 cs.CL
Clustering Text Using Attention
Punjab Engineering College(旁遮普工程学院)
文本聚类一直是自然语言处理领域的一个重要问题。虽然存在基于在上下文或非上下文向量空间表示之上使用常规聚类技术来对文本进行聚类的技术,但是仍然存在可能对这些技术的性能和实现进行各种改进的流行研究领域。本文讨论了一种基于注意力机制的文本聚类技术。注意力机制已被证明是非常有效的各种NLP任务在最近的时间。本文在聚类空间中扩展了注意力机制的思想,为一个全新的研究领域提供了新的思路
2022-01-08 cs.AI cs.CL cs.LG
AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification
Seoul National University(首尔国立大学);Automation and Systems Research Institute, Seoul National University(首尔国立大学自动化与系统研究所)
在本文中,我们提出了一个基于注意力的分类器,预测一个给定的句子的多种情绪。我们的模型模仿人类的句子理解的两步过程,它可以有效地表示和分类的句子。通过表情符号到含义的预处理和额外的词典利用,我们进一步提高了模型的性能。我们用SemEval-2018任务1-5提供的数据训练和评估我们的模型,其中每个句子在11个给定的情感中有几个标签。我们的模型在英语/西班牙语中分别达到了第5/第1等级。
2018-04-17 cs.CL cs.LG cs.NE
A Global-Local Attention Mechanism for Relation Classification
School of Electronic Information;Electrical Engineering Shanghai JiaoTong University Shanghai, China
本文针对关系分类中局部上下文被忽视的问题,提出一种全局-局部注意力机制,并结合硬定位与软定位策略识别关键词,在SemEval-2010 Task 8数据集上取得了优于以往注意力方法的性能。
2024-07-01 cs.CL cs.IR
Multilingual Hierarchical Attention Networks for Document Classification
Idiap Research Institute(伊迪亚普研究所);HEIG-VD / HES-SO(沃州工程与管理高等学院 / 瑞士西部应用科学与艺术大学)
分层注意力网络最近在给定语言的文档分类中取得了显着的性能。然而,当考虑多语言文档集合时,为每种语言单独训练这样的模型需要线性参数增长和缺乏跨语言迁移。因此,学习具有较少参数的单一多语言模型是一个具有挑战性但可能有益的目标。为此,我们提出了多语言层次注意力网络学习文档结构,共享编码器和/或共享注意力机制跨语言,使用多任务学习和对齐的语义空间作为输入。我们评估了建议的模型与不相交的标签集的多语言文档分类,在一个大型数据集,我们提供的,在8种语言的600 k新闻文档,和5 k标签。多语言模型在低资源和全资源环境中的表现优于单语言模型,并且使用更少的参数,从而证实了它们的计算效率和跨语言迁移的实用性。
2017-09-15 cs.CL
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Hanyang University(汉阳大学)
对句子中实体对之间的语义关系进行分类是自然语言处理的一项重要任务。大多数以前的关系分类模型依赖于由NLP工具获得的高级词汇和句法特征,如WordNet,依赖解析器,词性(POS)标记器和命名实体识别器(NER)。此外,基于注意力机制的最新神经模型没有充分利用实体的信息,而实体的信息可能是关系分类的最关键特征。为了解决这些问题,我们提出了一种新的端到端的递归神经模型,它结合了一个实体感知的注意力机制与潜在的实体类型(LET)的方法。我们的模型不仅有效地利用了实体及其潜在类型作为特征,而且通过可视化应用于我们的模型和LET结果的注意力机制,使其更具可解释性。在SemEval-2010 Task 8(最流行的关系分类任务之一)上的实验结果表明,我们的模型在没有任何高级特征的情况下优于现有的最先进的模型。
2019-01-23 cs.CL
Explaining a Neural Attention Model for Aspect-Based Sentiment Classification Using Diagnostic Classification
Delft University of Technology(代尔夫特理工大学);Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学);Bucharest Univ. of Economic Studies(布加勒斯特经济研究大学)
许多用于基于情感的情感分类(ABSC)的高性能机器学习模型产生黑盒模型,因此几乎不能解释它们如何将特定情感值分类到某个方面。在本文中,我们提出了解释模型,检查的内部动态的一个国家的最先进的神经注意力模型,LCR-Rot-Hop,通过使用一种技术称为诊断分类。我们的诊断分类器是一个简单的神经网络,它评估LCR-Rot-hop模型的内部层是否编码了用于分类的有用单词信息,即,词性、情感值、体关系的存在以及词的体相关情感值。我们的结论是,在LCR-Rot-hop模型的低层编码的部分语音和情感值,而高层表示的方面和方面相关的情感值的话的关系的存在。
2021-03-29 cs.CL
A Dual-Attention Hierarchical Recurrent Neural Network for Dialogue Act Classification
University of Aberdeen(阿伯丁大学);University of Sheffield(谢菲尔德大学);Utrecht University(乌得勒支大学)
识别对话行为(DA)对于诸如对话生成和意图识别等许多自然语言处理任务是重要的。在本文中,我们提出了一个双注意层次循环神经网络的DA分类。我们的模型的部分灵感来自于观察,会话语句通常与DA和主题,前者捕捉的社会行为和后者描述的主题。然而,DA和主题之间的这种依赖性尚未被大多数现有的DA分类系统所利用。通过一种新颖的双任务特定的注意力机制,我们的模型能够,对于话语,捕获关于DA和主题的信息,以及关于它们之间的交互的信息。实验结果表明,通过将主题建模为辅助任务,我们的模型可以显着改善DA分类,在三个公共数据集上产生更好或与最先进的方法相当的性能。
2019-10-10 cs.CL
MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification
School of Computer Science and Engineering, Vellore Institute of Technology(韦洛尔理工学院计算机科学与工程学院);University of Pretoria(比勒陀利亚大学)
针对低资源班图语言数据稀缺问题,提出结合语言无关数据增强与多头注意力加权嵌入的模型,以增强关键数据点,提升文本分类性能,为低资源语言处理奠定基础。
2025-02-25 cs.AI cs.CL cs.IR
Function-words Enhanced Attention Networks for Few-Shot Inverse Relation Classification
Tianjin University(天津大学);Tianjin University-Aishu Data Intelligence Joint Laboratory(天津大学-爱数数据智能联合实验室)
关系分类是识别文本中两个实体之间的语义关系。虽然现有的模型在对大型数据集的逆关系进行分类时表现良好,但它们的性能在少样本学习中显着降低。本文提出了一种用于Few-Shot逆关系分类的功能词自适应增强注意力框架(FAEA),在该框架中,设计了一种基于元学习的混合注意力模型来关注类相关功能词。由于功能词的引入会导致类内冗余,引入自适应的消息传递机制来捕获和传递类间差异,并从点积度量的角度分析了功能词的负面影响,解释了消息传递机制有效降低这种影响的原因.实验结果表明,FAEA算法优于强基线算法,尤其是在FewRel1.0中,在单次激发条件下,反相关精度提高了14.33%.
2022-04-26 cs.CL
Automatic Text Extractive Summarization Based on Graph and Pre-trained Language Model Attention
Peking University(北京大学)
将文本表示为图以获得自动文本摘要已经研究了十多年。随着自然语言处理(NLP)中注意力或注意力转换器(Transformer)的发展,在文本的图形和注意力结构之间建立联系成为可能。本文采用文本句子间的注意力矩阵作为文本全连通图的加权邻接矩阵,通过预训练的语言模型生成。GCN进一步应用于文本图模型,对每个节点进行分类,并从文本中找出显著句子。在两个典型数据集上的实验结果表明,与现有的模型相比,该模型可以获得具有竞争力的结果。
2022-07-26 cs.CL
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI(亚马逊人工智能);University of Washington(华盛顿大学)
自注意在自然语言处理中的成功,导致最近的应用在端到端的编码器-解码器架构的语音识别。另外,连接主义时间分类(CTC)已经成熟为一个无干扰,非自回归的方法,序列转导,无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC,一个深度的,完全自我注意的CTC网络,并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快,性能优于现有的CTC模型和大多数编码器-解码器模型,在WSJ eval 92上1天内的字符错误率(CER)为4.7%,在LibriSpeech test-clean上1周内为2.8%,具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话,评估位置和下采样方法,并探讨标签字母(字符,音素,子字)如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology(南京理工大学)
【目的】为了理解一个句子的意思,人类可以专注于句子中的重要单词,这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此,一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征,还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先,我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后,从情感分类模型中学习每个句子的机器注意力值。最后,进行了比较,以分析机器注意力值和眼动跟踪值。[发现]通过实验,我们发现注意力机制可以集中在重要的词上,例如形容词、副词和情感词,这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点,阅读时关注句子中的重要单词。由于对注意力机制的学习不足,导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释,也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
Interactive Attention Networks for Aspect-Level Sentiment Classification
MOE Key Lab of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
情感层次的情感分类旨在识别特定目标在其上下文中的情感极性。以前的方法已经意识到目标在情感分类中的重要性,并开发了各种方法,其目标是通过生成特定于目标的表示来精确建模其上下文。然而,这些研究往往忽略了目标的单独建模。在本文中,我们认为,目标和上下文都值得特殊对待,需要通过互动学习来学习自己的表征。然后,我们提出了交互式注意力网络(IAN)的上下文和目标的交互式学习的注意力,并分别产生的目标和上下文的表示。通过这种设计,IAN模型可以很好地表示目标及其搭配上下文,这有助于情感分类。SemEval 2014数据集上的实验结果证明了我们模型的有效性。
2017-09-04 cs.AI cs.CL
Fine-grained Information Status Classification Using Discourse Context-Aware Self-Attention
IBM Research Ireland(IBM爱尔兰研究院)
先前关于桥接回指识别的工作(Hou等人,2013a)将问题转换为学习细粒度信息状态(IS)的子任务。然而,这些系统严重依赖于许多手工制作的语言特征。本文提出了一种用于细粒度IS分类的语篇上下文感知自注意神经网络模型。在ISNotes语料库上(Markert等人,2012),我们的模型与上下文编码的单词表示(BERT)(Devlin et al.,2018)在细粒度IS分类方面实现了新的最先进性能,与Hou等人(2013 a)相比,获得了4.1%的绝对整体准确性提高。更重要的是,我们还显示了3.9%F1的改进桥接回指识别,而不使用任何复杂的手工制作的语义功能,旨在捕捉桥接现象。
2019-08-13 cs.AI cs.CL