When to Talk: Chatbot Controls the Timing of Talking during Multi-turn Open-domain Dialogue Generation
Beijing Institute of Technology（北京理工大学）
尽管多回合开放域对话系统已经引起了越来越多的关注并取得了很大的进展，但是现有的对话系统仍然非常枯燥。几乎所有现有的对话模型只提供一个响应时，用户的话语被接受。但在日常对话中，人们总是根据上下文来决定是否继续说出一句话。Intuelance是一种可以根据对话上下文自主控制说话时机的对话模型，可以更自然地与人类聊天。在本文中，我们探讨了对话系统，自动控制的谈话过程中的时间。具体来说，我们采用现有的对话模型的决策模块。此外，有效地建模会话上下文是非常重要的控制说话的时机。因此我们也采用图神经网络来处理具有自然图结构的上下文。在两个基准测试上的大量实验表明，控制说话的时间可以有效地提高对话生成的质量，所提出的方法显著提高了说话时间的准确性。此外，我们已经公开发布了我们提出的模型的代码。
2019-12-20 cs.CL
A Multi-Turn Emotionally Engaging Dialog Model
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
开放域对话系统（也称为聊天机器人）在自然语言处理中越来越受到关注。最近的一些工作旨在将情感信息纳入序列到序列神经对话建模中，使反应在情感上更丰富，而其他人则使用手工制作的规则来确定所需的情感反应。然而，他们并没有明确地学习人类对话中捕捉到的微妙的情感互动。在本文中，我们提出了一个多轮对话系统，旨在学习和产生情感反应，到目前为止，只有人类知道如何做。离线实验表明，与两个基线模型相比，该方法在困惑分数上表现最好。进一步的人类评估证实，我们的聊天机器人可以跟踪对话上下文，并在情感上产生更合适的反应，同时在语法上表现同样出色。
2020-06-24 cs.AI cs.CL cs.HC
Don't Shoot The Breeze: Topic Continuity Model Using Nonlinear Naive Bayes With Attention
Amazon（亚马逊）
本文提出了一种基于非线性朴素贝叶斯与注意力机制的主题连续性模型，用于评估对话响应与初始话题的一致性，有效处理长对话并提升可解释性。
2026-02-10 cs.AI cs.CL cs.LG
Representing Rule-based Chatbots with Transformers
Princeton University（普林斯顿大学）
针对Transformer对话内部机制不明的问题，以经典规则聊天机器人ELIZA为分析场景，构建实现ELIZA的Transformer理论模型并实证分析其训练模型的机制偏好，为对话智能体机械分析提供新框架。
2025-02-12 cs.AI cs.CL cs.LG
HHH: An Online Medical Chatbot System based on Knowledge Graph and Hierarchical Bi-Directional Attention
The University of Auckland（奥克兰大学）；The National Institute for Health Innovation(NIHI)（国家健康创新研究院）
本文提出了一个聊天机器人框架，采用混合模型，其中包括一个知识图谱和文本相似度模型。基于这个聊天机器人框架，我们构建了HHH，一个在线问答（QA）医疗保健助手系统，用于回答复杂的医疗问题。HHH维护一个知识图谱，该图谱由从互联网收集的医疗数据构建而成。HHH还实现了一种新颖的文本表示和相似性深度学习模型，即分层BiLSTM注意力模型（HBAM），以从大型QA数据集中找到最相似的问题。我们将HBAM与其他最先进的语言模型进行了比较，例如Transformers（BERT）和Manhattan LSTM模型（MaLSTM）的双向编码器表示。我们使用Quora医疗领域重复问题数据集的一个子集对模型进行训练和测试。实验结果表明，我们的模型是能够实现优于这些现有的方法的性能。
2020-02-08 cs.CL
Seq2Seq Model-Based Chatbot with LSTM and Attention Mechanism for Enhanced User Interaction
Moulay Ismail University（穆莱·伊斯梅尔大学）；Fordham Univ.（福特汉姆大学）；Univ. of North texas（北得克萨斯大学）；Point Park Univ.（匹兹堡点公园大学）
本文提出一种基于Seq2Seq编码器-解码器架构、融合LSTM和注意力机制且不依赖预定义API的聊天机器人，在摩洛哥旅游数据集上训练、验证和测试，分别取得99.58%、98.03%和94.12%的准确率，验证了专用AI在细分领域提升用户体验的潜力。
2024-12-27 cs.CL cs.ET
Alzheimer's Diagnosis and Generation-Based Chatbot Using Hierarchical Attention and Transformer
Dankook University（檀国大学）
在本文中，我们提出了一个自然语言处理架构，可以处理任务，以前需要两个模型作为一个模型。通过单一模型，我们分析了阿尔茨海默病患者的语言模式和会话背景，并从两个结果中得出答案：患者分类和聊天机器人。如果在日常生活中通过聊天机器人识别出患者的语言特征，医生就可以规划更精准的诊疗方案，实现早期诊断。该模型用于开发聊天机器人，以取代需要专家的问卷调查。模型执行两个自然语言处理任务。第一个是“自然语言分类”，以概率表示患者是否患有疾病，第二个是生成聊天机器人对患者答案的下一个“答案”。在前半部分中，通过自我注意神经网络提取作为患者话语特征的上下文向量。该上下文向量和聊天机器人（专家、主持人）问题一起输入编码器，以获得包含提问者和患者之间交互特征的矩阵。向量化矩阵变成用于患者分类的概率值。将矩阵与聊天机器人（主持人）的下一个答案一起输入解码器，以生成下一个话语。作为使用DmentiaBank的cookie盗窃描述语料库学习该结构的结果，确认了编码器和解码器的损失函数的值显著减小并且收敛。这表明，捕捉阿尔茨海默病患者的言语语言模式有助于该疾病的早期诊断和纵向研究。
2022-10-11 cs.CL
Transformer Based Bengali Chatbot Using General Knowledge Dataset
Daffodil International University（达夫迪尔国际大学）；Independent University of Bangladesh（孟加拉国独立大学）；University of Liberal Arts Bangladesh（孟加拉国自由艺术大学）
AI聊天机器人在从训练数据集学习后提供了令人印象深刻的响应。在这十年中，大多数研究工作表明，深度神经模型优于任何其他模型。RNN模型经常用于确定序列相关的问题，就像一个问题和它的答案。这种方法被大家熟知为seq2seq学习。在seq2seq模型机制中，它具有编码器和解码器。编码器嵌入任意输入序列，解码器嵌入输出序列。为了增强seq2seq模型的性能，在编码器和解码器中加入了注意力机制。在此之后，Transformer模型介绍了自己作为一个高性能的模型与多个注意力机制解决序列相关的困境。与基于RNN的模型相比，该模型减少了训练时间，并且还实现了最先进的序列转导性能。在这项研究中，我们应用Transformer模型孟加拉语一般知识聊天机器人的基础上，孟加拉语一般知识问答（QA）数据集。在应用的QA数据上，其评分为85.0 BLEU。为了检查Transformer模型性能的比较，我们训练了seq2seq模型，注意我们的数据集得分为23.5 BLEU。
2021-11-09 cs.AI cs.CL
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释，然后提出了广义注意力机制（GAM）。在解释之后，我们提供了对注意力机制的不同变体的描述，这些变体一起形成GAM。此外，我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
Generalized Probabilistic Attention Mechanism in Transformers
Handong Global University（韩东全球大学）
本文提出广义概率注意力机制 GPAM 及其双注意力实现 daGPAM，通过允许负注意力分数同时缓解 Transformer 中的秩坍缩和梯度消失问题，并在语言建模和机器翻译任务中验证了其有效性。
2024-10-21 cs.CL cs.LG
Continuous-Time Attention: PDE-Guided Mechanisms for Long-Sequence Transformers
The Chinese University Of Hongkong（香港中文大学）；Fudan University（复旦大学）
本文提出连续时间注意力机制，通过引入偏微分方程提升长序列Transformer对长距离依赖性和梯度流动的处理能力。
2025-05-27 cs.AI cs.LG
Attention mechanisms in neural networks
本文系统阐述了神经网络中注意机制的理论基础、计算特性及应用，涵盖自然语言处理、计算机视觉和多模态学习等多个领域，分析了其可解释性及当前存在的限制。
2026-01-06 cs.AI cs.LG
A Copy-Augmented Sequence-to-Sequence Architecture Gives Good Performance on Task-Oriented Dialogue
Stanford University（斯坦福大学）
面向任务的对话侧重于参与用户发起的关于特定领域主题的对话的会话代理。与聊天机器人相反，它只是寻求维持开放式的有意义的话语，现有的面向任务的代理通常显式地建模用户的意图和信念状态。本文探讨绕过这样一个明确的表示依赖于一个潜在的神经嵌入的状态和学习选择性注意对话的历史与复制，将相关的先验上下文。我们补充最近的工作，显示简单的序列到序列的神经架构与复制机制的有效性。我们的模型在每个响应生成方面比更复杂的内存增强模型高出7%，并且与DSTC 2上的当前最先进的模型相当。
2017-08-14 cs.AI cs.CL
Fast Monte-Carlo Approximation of the Attention Mechanism
School of Integrated Technology, Yonsei University（延世大学综合技术学院）
我们介绍了蒙特卡罗注意力（MCA），一个随机近似方法，以减少自注意力机制的计算成本在Transformer架构。MCA利用了输入序列中每个标记的重要性随其注意力分数而变化的事实;因此，在编码具有低注意力的标记时，可以容忍一定程度的错误。使用近似矩阵乘法，MCA应用不同的误差范围来编码输入标记，使得具有低注意力分数的标记以宽松的精度计算，而显著元素的误差被最小化。MCA可以与其他注意力优化方案并行操作，并且不需要修改模型。我们研究的理论误差范围，并证明MCA降低注意力的复杂性（在FLOPS）的各种Transformer模型高达11 $\times$在GLUE基准不影响模型的准确性。
2022-01-30 cs.AI cs.LG
Attention mechanisms for physiological signal deep learning: which attention should we take?
Seoul National University Hospital（首尔国立大学医院）；Seoul National University College of Medicine（首尔国立大学医学院）
注意力机制被广泛用于显著提高各个领域的深度学习模型性能。然而，他们在提高生理信号深度学习模型性能方面的能力还不成熟。在这项研究中，我们实验分析了四种注意机制（例如，挤压和激励、非局部、卷积块注意模块和多头自注意）和三个卷积神经网络（CNN）架构（例如，VGG、ResNet和Inception），用于两个代表性的生理信号预测任务：预测低血压的分类和预测心输出量（CO）的回归。我们评估了生理信号深度学习模型的性能和收敛性的多种组合。因此，具有空间注意机制的CNN模型在分类问题中表现出最好的性能，而通道注意机制在回归问题中实现了最低的误差。此外，在这两个问题中，具有注意机制的CNN模型的性能和收敛性优于独立的自注意模型。因此，我们验证了卷积操作和注意力机制是互补的，并且提供了更快的收敛时间，尽管独立的自注意力模型需要更少的参数。
2022-07-04 cs.AI cs.LG eess.SP
Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention
The University of Newcastle（纽卡斯尔大学）
Transformer模型的关键是自注意力机制，它允许模型以计算高效的方式分析整个序列。最近的研究表明，RNN使用的一般注意力机制可能被主动记忆机制取代。在这项工作中，我们评估是否各种主动记忆机制可以取代自注意力力的Transformer。我们的实验表明，单独使用主动记忆可以达到与语言建模的自注意力机制相当的结果，但最佳结果大多是通过同时使用主动记忆和自注意力机制来实现的。我们还注意到，对于某些特定的算法任务，主动记忆机制单独优于自注意力和两者的组合。
2019-12-30 cs.CL cs.LG stat.ML
Text Classification with Lexicon from PreAttention Mechanism
School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）
在传统的文本分类方法中，一个全面的、高质量的词典起着至关重要的作用。提高了语言知识的利用率。虽然它对任务是有帮助的，但在最近的神经网络模型中，词汇很少受到关注。首先，获得高质量的词典并不容易。我们缺乏有效的自动化词典提取方法，大多数词典都是手工制作的，这对于大数据来说效率非常低。更重要的是，在神经网络中没有一种有效的方法来使用词典。针对这些局限性，本文提出了一种用于文本分类的预注意力机制，它可以根据不同单词在分类任务中的作用来学习它们的注意力。不同关注度的词可以组成一个领域词典。在三个基准文本分类任务上的实验表明，与现有的方法相比，我们的模型得到了有竞争力的结果。我们在Stanford Large Movie Review数据集上获得了90.5%的准确率，在Subjectivity数据集上获得了82.3%的准确率，在Movie Reviews上获得了93.7%的准确率。与没有引入预注意力机制的文本分类模型相比，引入预注意力机制的文本分类模型准确率提高了0.9%~ 2.4%，证明了预注意力机制的有效性。此外，预注意力机制表现良好，随后是不同类型的神经网络（例如，卷积神经网络和长短期记忆网络）。对于同一个数据集，当我们使用预注意力机制获取不同神经网络所遵循的注意力值时，那些具有高注意力值的单词具有很高的重合度，这证明了预注意力机制的通用性和可移植性。利用注意值可以得到稳定的词汇，是一种…
2020-02-18 cs.CL cs.LG
TripleNet: Triple Attention Network for Multi-Turn Response Selection in Retrieval-based Chatbots
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
我们认为在选择响应的上下文中不同的话语的重要性通常取决于当前查询。在本文中，我们提出了一个模型TripleNet来完全建模的任务与三元组<上下文，查询，响应>，而不是<上下文，响应>在以前的作品。TripleNet的核心是一种新的注意力机制，称为三重注意力，用于在四个级别上对三重注意力之间的关系进行建模。新机制基于对其他两个元素的关注同时对称地更新每个元素的表示。我们将以响应为中心的三元组<C，Q，R>从字符匹配到上下文级别进行预测。在两个大规模多轮响应选择数据集上的实验结果表明，该模型的性能明显优于现有方法。TripleNet源代码可在https://github.com/wtma/TripleNet上获得
2019-09-29 cs.CL cs.IR
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
University of Science and Technology of China（中国科学技术大学）；Beijing Institute of Technology（北京理工大学）；Microsoft Research Asia（微软亚洲研究院）
注意力机制已经成为深度神经网络中的一个流行组件，但很少有人研究不同的影响因素和从这些因素计算注意力的方法如何影响性能。为了更好地理解注意力机制，我们提出了一个实证研究，消融各种空间注意力元素内的广义注意力公式，包括占主导地位的Transformer注意力以及流行的变形卷积和动态卷积模块。该研究在各种应用中进行，产生了关于深度网络中空间注意力的重要发现，其中一些与传统理解背道而驰。例如，我们发现Transformer注意中的查询和关键内容比较对于自我注意是可以忽略的，但是对于编码器-解码器注意是至关重要的。可变形卷积与仅关键内容显著性的适当组合在自注意中实现了最佳的准确性-效率权衡。我们的研究结果表明，在注意力机制的设计上还有很大的改进空间。
2019-04-11 cs.CL cs.CV cs.LG
EEG motor imagery decoding: A framework for comparative analysis with channel attention mechanisms
Institute of Signal Processing and System Theory, University of Stuttgart（斯图加特大学信号处理与系统理论研究所）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）
本文提出一个轻量级脑电运动想象解码框架，系统比较多种通道注意力机制在相同条件下的效果，并在四个数据集上验证其性能提升、低计算复杂度和跨数据集泛化能力。
2024-02-21 cs.AI cs.HC cs.LG
Explaining the Attention Mechanism of End-to-End Speech Recognition Using Decision Trees
Beijing Forestry University（北京林业大学）；Chinese Academy of Sciences（中国科学院）
注意力机制在很大程度上提高了端到端语音识别系统的性能。然而，注意力的潜在行为还不清楚。在这项研究中，我们使用决策树来解释注意力机制如何影响自己在语音识别。结果表明，注意力水平在很大程度上是由他们以前的状态，而不是编码器和解码器模式的影响。此外，默认的注意力机制似乎对更接近的状态赋予了更多的权重，但在对注意力状态的长期依赖性进行建模时表现不佳。
2021-10-08 cs.CL cs.LG cs.SD
Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms
Dongguk University（东国大学）
注意力已经成为深度学习方法中最常用的机制之一。注意力机制可以帮助系统更多地关注特征空间的关键区域。例如，高振幅区域可以在语音情感识别（SER）中发挥重要作用。在本文中，我们确定在现有的多头自注意之间的注意和信号幅度的失调。为了改善注意区域，我们提出了一个焦点-注意（FA）机制和一个新的校准-注意（CA）机制结合多头自我注意。通过FA机制，网络可以检测到段中幅度最大的部分。通过采用CA机制，网络可以通过为每个注意头分配不同的权重来调节信息流，并提高周围上下文的利用率。为了评估所提出的方法，实验进行了IEMOCAP和RAVDESS数据集。实验结果表明，该框架显着优于国家的最先进的方法在这两个数据集。
2022-08-21 cs.AI cs.LG cs.SD
Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions
Instituto Superior Técnico（里斯本高等理工学院）；INESC-ID（INESC-ID 研究所）
注意力机制已经引起了研究界的极大兴趣，因为它们承诺显着改善神经网络架构的性能。然而，在任何具体的问题中，我们仍然缺乏一种原则性的方法来选择特定的机制和超参数，以确保改进。最近，自注意力被提出并广泛应用于变压器式架构中，在某些应用中取得了重大突破。在这项工作中，我们集中在两种形式的注意力机制：注意模块和自我注意。注意力模块用于重新加权每个层输入张量的特征。不同的模块有不同的方式在全连接或卷积层中执行这种重新加权。研究的注意力模型是完全模块化的，在这项工作中，它们将与流行的ResNet架构一起使用。自注意（Self-Attention）最初是在自然语言处理领域中提出的，它使得将输入序列中的所有项目联系起来成为可能。自注意力在计算机视觉中越来越受欢迎，有时它与卷积层结合在一起，尽管最近的一些架构完全取消了卷积。在这项工作中，我们研究和执行一个特定的计算机视觉任务，在广泛使用的皮肤癌MNIST数据集中的样本分类的一些不同的注意力机制的客观比较。结果表明，注意力模块有时确实提高了卷积神经网络架构的性能，但这种改进尽管明显且具有统计学意义，但在不同的设置中并不一致。另一方面，用自注意力机制获得的结果显示出一致且显著的改进，即使在具有减少的参数数量的架构中也能获得最佳结果。
2021-12-23 cs.AI cs.CV cs.LG
Dialoging Resonance: How Users Perceive, Reciprocate and React to Chatbot's Self-Disclosure in Conversational Recommendations
Columbia University（哥伦比亚大学）；University of California, Davis（加州大学戴维斯分校）
使用聊天机器人提供推荐越来越受欢迎。推荐聊天机器人的设计主要是通过关注推荐内容本身来采取以信息为中心的方法。有限的关注是如何社会联系和关系策略，如聊天机器人的自我披露，可能会影响用户的感知和接受的建议。在这项工作中，我们设计、实现和评估了一个社交聊天机器人，它能够执行三个不同级别的自我披露：事实信息（低）、认知观点（中）和情感（高）。在评估中，我们招募了372名参与者与聊天机器人就两个主题进行对话：电影和COVID-19体验。在每个主题中，聊天机器人都会进行简短的谈话，并提出与主题相关的建议。参与者被随机分配到四个实验条件下，聊天机器人使用事实，认知，情感和适应策略来执行自我披露。通过训练文本分类器来实时识别用户的自我披露水平，自适应聊天机器人可以动态地将其自我披露与用户表现出的披露水平相匹配。我们的研究结果表明，当推荐聊天机器人在整个对话中始终显示情感时，用户会以更高级别的自我披露作为回报。聊天机器人的情感披露也导致了对机器人的更高的互动享受和更积极的人际感知，培养了更强的人与聊天机器人的关系，从而提高了推荐的有效性，包括更高的接受推荐的倾向。我们讨论了所获得的理解和影响，未来的设计。
2022-11-10 cs.AI cs.CL
SALO: An Efficient Spatial Accelerator Enabling Hybrid Sparse Attention Mechanisms for Long Sequences
Shanghai Jiao Tong University（上海交通大学）
Transformers的注意力机制有效地从输入序列中提取相关信息。然而，自我注意序列长度的二次复杂性会带来沉重的计算和记忆负担，特别是对于长序列的任务。现有的加速器在这些任务中面临性能下降。为此，我们提出SALO，使混合稀疏注意力机制长序列。SALO包含一个数据调度器，用于将混合稀疏注意模式映射到硬件上，以及一个空间加速器，用于执行有效的注意计算。我们表明，SALO实现了17.66倍和89.33倍的加速平均相比，GPU和CPU的实现，分别在典型的工作负载，即，Longformer和ViL。
2022-06-29 cs.AI cs.AR cs.LG
Integrating Biological and Machine Intelligence: Attention Mechanisms in Brain-Computer Interfaces
The School of Biomedical Engineering（生物医学工程学院）；The Guangdong Provincial Key Laboratory of Biomedical Measurements（生物医学测量与超声成像广东省重点实验室）；Shien-Ming Wu School of Intelligent Engineering（沈铭武智能工程学院）；Institute for Super Robotics（超机器人研究所）
本文系统综述了传统与Transformer注意力机制在EEG脑机接口中的嵌入策略、多模态融合应用及未来趋势，为提升EEG解读性能提供参考。
2025-07-07 cs.AI cs.LG eess.SP
AttentionEngine: A Versatile Framework for Efficient Attention Mechanisms on Diverse Hardware Platforms
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
针对现有注意力机制优化策略适配性差、需大量人工调优的问题，提出通用框架AttentionEngine，通过模块化分解与自动化跨平台调度，在多种硬件上实现最高10倍性能提升，且代码已开源。
2025-02-21 cs.CL cs.LG cs.PF
A General Survey on Attention Mechanisms in Deep Learning
Erasmus School of Economics（伊拉斯姆斯经济学院）；Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学）
注意力是一种重要的机制，可以用于跨许多不同领域和任务的各种深度学习模型。本调查提供了文献中提出的最重要的注意力机制的概述。各种注意力机制解释的一般注意力模型，统一的符号，和注意力机制的综合分类的框架。此外，评价注意力模型的各种措施进行了审查，并讨论了方法来表征的结构的注意力模型的基础上提出的框架。最后，在注意力模型领域的未来工作被认为是。
2022-03-27 cs.LG
Location-Relative Attention Mechanisms For Robust Long-Form Speech Synthesis
Google Research（谷歌研究院）
尽管能够为域内文本产生人类水平的语音，但基于注意力的端到端文本到语音（TTS）系统遭受文本对齐失败，其对于域外文本的频率增加。我们表明，这些故障可以使用简单的位置相关的注意力机制，消除基于内容的查询/关键字比较。我们比较了两类注意力机制：基于位置相关GMM的机制和基于附加能量的机制。我们建议对基于GMM的注意力进行简单的修改，使其能够在训练过程中快速一致地对齐，并将一种新的位置相关注意力机制引入到基于加性能量的家族中，称为动态卷积注意力（DCA）。我们比较了各种机制在训练过程中的对齐速度和一致性，自然性和推广到长话语的能力，并得出结论，GMM注意力和DCA可以推广到很长的话语，同时保留自然性较短，域内话语。
2020-04-22 cs.CL cs.LG cs.SD
A Regularized Framework for Sparse and Structured Neural Attention
Cornell University（康奈尔大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
现代神经网络通常增加了注意力机制，它告诉网络在输入中关注哪里。在本文中，我们提出了一个新的框架，稀疏和结构化的注意，建立在一个平滑的最大算子。我们表明，该算子的梯度定义了一个映射，从实际值的概率，适合作为一个注意力机制。我们的框架包括softmax和最近提出的sparsemax作为特例的轻微推广。然而，我们还展示了我们的框架如何结合现代结构化的惩罚，从而产生更可解释的注意力机制，专注于输入的整个部分或组。我们推导出有效的算法来计算我们的注意力机制的向前和向后传递，使其能够在用反向传播训练的神经网络中使用。为了展示它们作为现有替代品的潜力，我们在三个大规模任务上评估了我们的注意力机制：文本蕴涵，机器翻译和句子摘要。我们的注意力机制在不牺牲性能的情况下提高了可解释性;值得注意的是，在文本蕴涵和摘要方面，我们优于基于softmax和sparsemax的标准注意力机制。
2019-02-23 cs.CL cs.LG stat.ML
ASEM: Enhancing Empathy in Chatbot through Attention-based Sentiment and Emotion Modeling
Qatar University（卡塔尔大学）；MSA University（MSA大学）
ASEM提出一种端到端模型，通过多编码器专家混合和专门注意力策略，在情感分析之上进行情绪分析，使开放域聊天机器人能够生成更准确、多样且共情的回应，情绪检测准确率提升6.2%，词汇多样性提升1.4%。
2024-02-25 cs.CL
Linear Complexity Randomized Self-attention Mechanism
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
最近，随机特征注意力（RFAs）被提出来近似softmax注意力的线性时间和空间复杂度通过线性化的指数核。在本文中，我们首先提出了一个新的角度来理解这种近似的偏见，通过重新铸造RFAs作为自归一化的重要性采样器。这种观点进一步揭示了整个softmax注意力的\emph{unbiased}估计量，称为随机注意力（RA）。RA通过查询特定的分布构造正随机特征，并极大地提高了近似保真度，尽管表现出二次复杂性。通过结合RA的表达能力和RFA的效率，我们开发了一种新的线性复杂性自注意力机制，称为线性随机注意（LARA）。在各个领域的广泛实验表明，RA和LARA显着提高了RFA的性能，由一个相当大的利润。
2022-06-15 cs.CL cs.CV cs.LG
Towards understanding how attention mechanism works in deep learning
本研究将自注意力机制分解为可学习伪度量与信息传播过程，证明其收敛于漂移-扩散过程，并提出改进的 metric-attention 机制，在训练效率、准确性和鲁棒性上优于自注意力。
2024-12-24 cs.AI cs.CV cs.LG
Utterance-to-Utterance Interactive Matching Network for Multi-Turn Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Company, Ltd.（科大讯飞股份有限公司）
本文提出了一种用于基于检索的聊天机器人中多轮响应选择的话语到话语交互式匹配网络（U2 U-IMN）。与以往基于语境-应答匹配或话语-应答匹配的方法不同，该模型在计算语境和应答之间的匹配度时，将两者都看作是话语序列。对于上下文响应对，U2 U-IMN模型首先使用递归层和自注意层分别对每个话语进行编码。然后，使用注意力机制在上下文和响应之间进行全局双向交互，以收集它们之间的匹配信息。在计算注意力权重时，上下文和响应话语之间的距离被用作先验分量。最后，依次进行语义级聚合和上下文响应级聚合，得到用于匹配度预测的特征向量。在四个公共数据集上的实验表明，我们提出的方法在所有指标上都优于基线方法，实现了新的最先进的性能，并证明了多回合响应选择的跨域兼容性。
2019-11-16 cs.CL
Dynamic N:M Fine-grained Structured Sparse Attention Mechanism
University of California, Santa Barbara（加州大学圣巴巴拉分校）；ALIBABA DAMO Academy（阿里巴巴达摩院）
Transformers正在成为NLP和计算机视觉等各种任务的主流解决方案。尽管它们取得了成功，但注意力机制的高度复杂性阻碍了它们应用于延迟敏感的任务。为了缓解这个问题，已经做出了巨大的努力，其中许多人成功地将渐近复杂性降低到线性。然而，他们中的大多数未能实现实际的加速比在中等序列长度下的原始的全注意力，是不友好的微调。在本文中，我们提出了DFSS，一个注意力机制，动态修剪的完整的注意力权重矩阵的N：M细粒度结构稀疏模式。我们提供的理论和经验证据表明，DFSS是一个很好的近似的完整的注意力机制。我们提出了一个专用的CUDA内核设计，完全消除了动态修剪开销，并实现任意序列长度下的加速比。我们在不同的配置下评估了1：2和2：4的稀疏性，并在全注意力机制上实现了1.27~1.89倍的加速比。它只需要从预训练模型中进行几次微调，就可以在384到4096的不同序列长度下，对来自不同领域的任务进行完全注意力机制，达到同等精度。
2022-02-28 cs.LG
Mix-Pooling Strategy for Attention Mechanism
Sun Yat-sen University（中山大学）
近年来，在计算机视觉中，人们提出了许多有效的注意力模块来利用卷积神经网络的内部信息来提高模型的性能。一般而言，以往的研究都采用全局平均池化，忽略了注意力机制池化策略的设计，这阻碍了注意力机制性能的进一步提高。然而，我们经验发现并验证了一个现象，即全局最大池化和全局最小池化的简单线性组合可以产生匹配或超过全局平均池化性能的池化策略。基于这一经验观察，我们提出了一个简单而有效的注意力模块SPEM，它采用了自适应池策略的基础上，全球最大池和全球最小池和轻量级模块的注意力地图。在广泛使用的基准数据集和流行的注意力网络上进行的大量实验证明了SPEM的有效性。
2022-10-23 cs.LG
Pre-training Attention Mechanisms
Stanford University（斯坦福大学）
具有可区分注意力机制的递归神经网络在生成和分类任务中取得了成功。我们表明，这样的模型的分类性能可以通过引导随机初始化的模型参加在早期的训练迭代的输入的显着区域，以提高。我们进一步表明，如果没有明确的指导策略，则在无监督重建任务上进行预训练的模型可以在没有监督的情况下发现良好的注意力策略。我们证明，提高效率的注意力机制本身有助于这些性能的改善。基于这些见解，我们引入了自举式的一瞥模仿，这是一种简单的，理论上更有效地训练注意力模型的任务通用方法。我们的工作从人类学习注意力的结果中汲取灵感，并与之平行。
2017-12-15 cs.CV cs.LG
A Comparison of LSTMs and Attention Mechanisms for Forecasting Financial Time Series
University of Toronto（多伦多大学）
虽然LSTM在预测金融时间序列（FTS）方面显示出越来越有前途的结果，但本文试图评估注意力机制是否可以进一步提高性能。假设注意力可以帮助防止LSTM模型经历的长期依赖性。为了验证这一假设，本文的主要贡献是实现了一个带注意力的LSTM。比较了基准LSTM和带注意力的LSTM，两者都在Kaggle的Two Sigma数据集的五只股票上实现了高达60%的合理表现。这种比较分析表明，具有注意力的LSTM确实可以优于独立的LSTM，但需要进一步的研究，因为这种模型架构确实会出现问题。
2018-12-18 cs.LG stat.ML
A Cheap Linear Attention Mechanism with Fast Lookups and Fixed-Size Representations
MILA, University of Montréal（蒙特利尔大学 MILA）
softmax基于内容的注意力机制已被证明在递归神经网络的许多应用中非常有益。然而，它受到两个主要的计算限制。首先，它对注意力查找的计算在关注序列的大小上线性缩放。其次，它不将序列编码为固定大小的表示，而是需要记住所有隐藏状态。这两个限制将softmax注意力机制的使用限制在具有短序列和每个序列很少查找的相对小规模的应用中。在这项工作中，我们介绍了一个家庭的线性注意力机制，旨在克服上述两个限制。我们表明，从传统的注意力公式中去除softmax非线性，可以产生恒定时间的注意力查找和固定大小的出席序列表示。这些属性使得这些线性注意力机制特别适合于具有极端查询负载、实时要求和存储器约束的大规模应用。在问答任务上的早期实验表明，这些线性机制产生的准确性结果明显优于没有注意力，但明显不如他们的softmax替代方案。
2016-09-19 cs.IR cs.LG cs.NE
A Regularized Attention Mechanism for Graph Attention Networks
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
能够利用数据固有结构的机器学习模型已经变得突出。特别是，由于其在多个领域的广泛适用性，针对图结构数据的深度学习解决方案激增。图注意力网络（GAT）是最近加入到图中的广泛类别的特征学习模型中的一个新成员，它利用注意力机制来有效地学习用于半监督学习问题的连续向量表示。在本文中，我们对GAT模型进行了详细的分析，并对它们的行为提出了有趣的见解。特别是，我们表明，该模型是脆弱的异构流氓节点，因此提出了新的正则化策略，以提高GAT模型的鲁棒性。使用基准数据集，我们证明了性能的改进半监督学习，使用GAT的建议强大的变种。
2020-02-10 cs.LG stat.ML
Multi-layer Attention Mechanism for Speech Keyword Recognition
Sichuan University（四川大学）
语音关键词自动识别作为语音识别技术的重要组成部分，近年来得到了广泛的研究。这种技术在基础设施和计算资源有限的情况下变得特别关键，例如车辆中的语音命令识别和机器人交互。目前，语音关键词自动识别的主流方法是基于带有注意力机制的长短期记忆（LSTM）网络。然而，由于在特征提取期间导致的LSTM层的不可避免的信息损失，计算的注意力权重是有偏差的。本文提出了一种新的方法，即多层注意力机制，以处理不准确的注意力权重的问题。其核心思想是，除了传统的注意力机制，在特征提取和LSTM之前的层的信息被引入到注意力权重计算中。因此，注意力权重更准确，因为整个模型可以具有更精确和集中的区域。我们在Google Speech Command数据集V2数据集上对卷积神经网络，双向LSTM循环神经网络和循环神经网络的关键词定位性能进行了全面的比较和分析，并提出了注意力机制。实验结果表明，该方法具有良好的效果，证明了该方法的有效性。所提出的多层注意方法可以为其他与目标识别相关的研究提供参考。
2019-07-10 cs.LG cs.SD eess.AS
Singing Voice Synthesis Based on a Musical Note Position-Aware Attention Mechanism
Nagoya Institute of Technology（名古屋工业大学）
本文提出了一种新的序列到序列（seq 2seq）模型与音符位置感知注意机制的歌唱声音合成（SVS）。seq 2seq建模方法，可以同时执行声学和时间建模是有吸引力的。然而，由于唱歌的声音的时间建模的困难，许多最近的SVS系统与编码器-解码器为基础的模型仍然依赖于明确的持续时间信息产生的额外的模块。虽然一些研究使用具有注意力机制的seq 2seq模型进行同步建模，但它们对时间建模的鲁棒性不足。所提出的注意力机制被设计为通过考虑乐谱所给出的节奏来估计注意力权重。此外，还介绍了几种技术，以提高歌唱声音的建模性能。实验结果表明，该模型是有效的自然性和鲁棒性的定时。
2023-03-14 cs.LG cs.SD eess.AS
Chatbot Interaction with Artificial Intelligence: Human Data Augmentation with T5 and Language Transformer Ensemble for Text Classification
ARVIS Lab（ARVIS实验室）；Aston University（阿斯顿大学）
在这项工作中，我们提出了聊天机器人与人工智能交互（CI-AI）框架，作为训练深度学习聊天机器人进行任务分类的方法。智能系统通过人工释义来增强人类来源的数据，以便生成大量的训练数据，用于自然语言处理的进一步的经典、注意力和基于语言转换的学习方法。人类被要求解释命令和问题，以识别机器进一步执行的任务。命令和问题被分为训练集和验证集。共收到483份回复。其次，通过T5模型对训练集进行释义，以便用更多的数据对其进行扩充。在对两个时期的训练数据进行微调后，对两个集合的七种最先进的基于变换器的文本分类算法（BERT、DistilBERT、RoBERTa、DistilRoBERTa、XLM、XLM-RoBERTa和XLNet）进行基准测试。我们发现，当训练数据被T5模型增强时，所有模型都得到了改善，分类精度平均提高了4.01%。最好的结果是在T5增强数据上训练的RoBERTa模型，其分类准确率达到98.96%。最后，我们发现，通过输出标签预测的逻辑回归，五个性能最好的Transformer模型的集合在人类响应数据集上的准确率为99.59%。一个高性能的模型允许智能系统通过类似聊天机器人的界面在社交互动层面上解释人类命令（例如，“机器人，我们可以对话吗？），并允许非技术用户更好地访问AI。
2020-10-22 cs.AI cs.CL
Do You Feel Comfortable? Detecting Hidden Conversational Escalation in AI Chatbots
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
GAUGE通过实时检测AI聊天机器人中隐藏的情感升级，提升对话中隐性伤害的识别能力。
2026-01-21 cs.AI cs.CL
A General-purpose AI Avatar in Healthcare
Farragut High School（法拉格特高中）；Harvard University（哈佛大学）
本文提出一种医疗通用AI虚拟形象框架，通过三类别提示词典、提示改进机制和两阶段微调方法构建具有个性的聊天机器人，以提升患者参与度，并展望了上下文理解与医学数据微调等未来方向。
2024-01-10 cs.CL
A Role-Selected Sharing Network for Joint Machine-Human Chatting Handoff and Service Satisfaction Analysis
Wuhan University（武汉大学）；Northeastern University（东北大学）；Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）；Zhejiang University（浙江大学）；Worcester Polytechnic Institute（伍斯特理工学院）
聊天机器人在各个领域日益蓬勃发展，但由于其话语的复杂性和训练数据的稀疏性，其潜在的不信任性引发了人们的担忧。最近，人机聊天机器人（MHCH），预测聊天机器人失败，使人类算法合作，以提高聊天机器人的质量，引起了越来越多的关注，从工业界和学术界。在这项研究中，我们提出了一种新的模型，角色选择共享网络（RSSN），它集成了对话满意度估计和切换预测在一个多任务学习框架。与以往的对话挖掘方法不同，该方法利用局部用户满意度作为桥梁，实现了全局满意度检测器和切换预测器之间的有效交互。具体地说，我们通过共享编码器后的角色信息来解耦两个任务之间的关系和交互。在两个公共数据集上的实验证明了该模型的有效性。
2021-09-17 cs.CL
MKA: A Scalable Medical Knowledge Assisted Mechanism for Generative Models on Medical Conversation Tasks
Pennsylvania State University（宾夕法尼亚州立大学）；Nvidia（英伟达）；TMiRob
本文提出可扩展医学知识辅助机制MKA，通过包含6类医学信息的医学知识图谱和特定token拼接策略，将医学知识注入通用神经生成模型，在MedDG和MedDialog-CN上取得更优性能，其中MKA-Bert-GPT达到最先进水平。
2023-12-05 cs.AI cs.CL
Attention Lens: A Tool for Mechanistically Interpreting the Attention Head Information Retrieval Mechanism
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
针对LLM中注意力头作用不明的问题，提出Attention Lens工具，通过学习的特定变换将注意力头输出转换为词汇token，初步发现表明注意力头在语言模型中具有高度专业化角色。
2023-10-25 cs.AI cs.CL cs.LG
Contrastive Attention Mechanism for Abstractive Sentence Summarization
Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Alibaba DAMO Academy（阿里巴巴达摩院）；School of Engineering, Westlake University（西湖大学工学院）
我们提出了一个对比注意力机制，以扩展序列到序列的抽象句子摘要任务，其目的是生成一个简短的摘要给定的源句子的框架。对比注意力机制包含两类注意：一类是注意源句相关部分的常规注意，另一类是注意源句不相关或不太相关部分的对手注意。两种注意力都以相反的方式进行训练，从而通过新的softmax和softmin功能鼓励传统注意力的贡献，并阻止对手注意力的贡献。在基准数据集上的实验表明，与传统的注意力机制相比，本文提出的对比注意力机制更能集中于摘要的相关部分，大大提高了摘要的性能。我们在https://github.com/travel-go/Abstractive-Text-Summarization上发布代码
2019-10-30 cs.AI cs.CL
Tri-Attention: Explicit Context-Aware Attention Mechanism for Natural Language Processing
Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Brock University（布鲁克大学）；University of Technology Sydney（悉尼科技大学）
在自然语言处理中，单词或句子的上下文起着至关重要的作用。上下文信息，如段落或历史对话的语义表示，构成了对话的重要组成部分，也是对当前短语或句子的准确理解。然而，标准的注意力机制通常使用查询和键生成权重，但忽略上下文，形成双注意力框架，尽管它们在建模序列比对方面取得了巨大的成功。这种双注意力机制没有明确地对目标序列的上下文、查询和键之间的交互进行建模，丢失了重要的上下文信息，导致注意力表现不佳。因此，一个新的和一般的三重注意力（三注意力）框架扩展了标准的双注意力机制，并显式地交互查询，关键字，上下文作为第三个维度在计算相关性分数。通过将Bi-Attention中基于二维向量的加法、点积、缩放点积和双线性运算扩展为Tri-Attention的张量运算，生成了Tri-Attention的四种变体。对三个NLP任务的广泛实验表明，Tri-Attention优于大约30种最先进的非注意力，标准的Bi-Attention，上下文Bi-Attention方法和预训练的神经语言模型。
2022-11-05 cs.AI cs.CL
Making Attention Mechanisms More Robust and Interpretable with Virtual Adversarial Training
Hosei University（法政大学）
虽然注意力机制已经成为深度学习模型的基本组成部分，但它们容易受到扰动，这可能会降低预测性能和模型的可解释性。针对注意力机制的对抗性训练（AT）通过考虑对抗性扰动成功地减少了这样的缺点。然而，这种技术需要标签信息，因此，其使用仅限于监督设置。在这项研究中，我们探讨了将虚拟AT（VAT）纳入注意力机制的概念，通过这种机制，即使从未标记的数据中也可以计算对抗性扰动。为了实现这种方法，我们提出了两个一般的训练技术，即增值税的注意力机制（注意力增值税）和“可解释的”增值税的注意力机制（注意力iVAT），扩展AT的注意力机制的半监督设置。特别是，Attention iVAT专注于注意力的差异;因此，它可以有效地学习更清晰的注意力并提高模型的可解释性，即使是未标记的数据。基于六个公共数据集的实证实验表明，我们的技术提供了比传统的基于AT和基于VAT的技术更好的预测性能，并且与人类在检测句子中的重要单词时提供的证据具有更强的一致性。此外，我们的建议提供了这些优点，而不需要添加未标记数据的仔细选择。也就是说，即使使用我们基于VAT的技术的模型是在来自目标任务以外的源的未标记数据上训练的，预测性能和模型的可解释性都可以得到提高。
2022-12-26 cs.AI cs.CL
AttentionMix: Data augmentation method that relies on BERT attention mechanism
Warsaw University of Technology（华沙工业大学）；Faculty of Mathematics and Information Science（数学与信息科学学院）
本文提出AttentionMix数据增强方法，利用BERT注意力信息进行文本混合，在3个情感分类数据集上优于Mixup类基准和原始BERT。
2023-09-20 cs.AI cs.CL
Image Captioning using Multiple Transformers for Self-Attention Mechanism
实时图像描述，以及足够的精度，是这个研究领域的主要挑战。目前的工作，多个Transformers的自我注意力机制（MTSM），利用多个变压器来解决这些问题。所提出的算法，MTSM，获取区域的建议，使用Transformer检测器（DETR）。MTSM通过另一个Transformer来传递这些区域建议及其视觉和几何特征，并学习对象的局部和全局互连，从而实现自注意力机制。所提出的算法，MTSM，定性和定量的结果显示在MSCOCO数据集。
2021-02-14 cs.AI cs.CL cs.CV
An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation
Uppsala University（乌普萨拉大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
最近的研究表明，神经机器翻译（NMT）中的编码器-解码器注意力机制不同于统计机器翻译中的词对齐。本文以NMT模型中的词义消歧为例，重点分析了编码器-解码器的注意力机制。我们假设注意力机制在翻译歧义词时更关注语境标记。我们探讨了翻译歧义名词时的注意分配模式。与直觉相反，我们发现，与其他名词相比，注意力机制可能会将更多的注意力分配给歧义名词本身，而不是上下文标记。我们的结论是，注意力机制是不是NMT模型的主要机制，以纳入上下文信息的词义消歧。实验结果表明，NMT模型学习编码上下文信息必要的WSD在编码器隐藏状态。对于Transformer模型中的注意力机制，我们揭示了前几层逐渐学习“对齐”源和目标令牌，最后几层学习从相关但未对齐的上下文令牌中提取特征。
2018-10-17 cs.CL
