Global-Locally Self-Attentive Dialogue State Tracker
Salesforce Research（Salesforce研究院）
对话状态跟踪是面向任务的对话系统的重要组成部分，它根据对话上下文估计用户的目标和请求。在本文中，我们提出了全球本地自我注意对话状态跟踪器（GLAD），它学习表示的用户话语和以前的系统动作与全球本地模块。我们的模型使用全局模块来共享不同类型（称为插槽）对话状态的估计器之间的参数，并使用本地模块来学习特定于插槽的功能。我们表明，这显着提高了稀有状态的跟踪，并实现了最先进的性能的WoZ和DSTC 2状态跟踪任务。GLAD在WoZ上获得了88.1%的联合目标准确率和97.1%的请求准确率，比之前的工作高出3.7%和5.5%。在DSTC 2上，我们的模型获得了74.5%的联合目标准确率和97.5%的请求准确率，比之前的工作高出1.1%和1.0%。
2018-09-06 cs.AI cs.CL
Improving Disfluency Detection by Self-Training a Self-Attentive Model
Macquarie University（麦考瑞大学）；Oracle Corporation（甲骨文公司）
使用语境化词嵌入（例如ELMo或BERT）的自注意神经句法分析器目前在语音转录中的联合分析和不流利检测中产生最先进的结果。由于上下文化的词嵌入是在大量未标记数据上预先训练的，因此使用额外的未标记数据来训练神经模型似乎是多余的。然而，我们表明，自我训练-一种用于合并未标记数据的半监督技术-为不流利检测的自我关注解析器设置了一种新的最先进的技术，表明自我训练提供了与预训练的上下文化单词表示正交的好处。我们还表明，集成自我训练的解析器提供了进一步的收益不流利检测。
2020-04-29 cs.CL
HonestBait: Forward References for Attractive but Faithful Headline Generation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Northwestern University（西北大学）；Academia Sinica（中央研究院）
提出HonestBait框架，利用前向引用和自我验证过程生成有吸引力且忠实的新闻标题，在保持高真实性的同时提升吸引力11.25%。
2023-06-26 cs.AI cs.CL
EmotionX-DLC: Self-Attentive BiLSTM for Detecting Sequential Emotions in Dialogue
Deep Learning Research and Application Centre（深度学习研究与应用中心）；Hang Seng Management College（恒生管理学院）
在本文中，我们提出了一个自我注意的双向长短期记忆（SA-BiLSTM）网络来预测多种情绪，以应对挑战。BiLSTM展示了建模单词依赖关系的能力，并提取了最相关的情感分类特征。建立在BiLSTM之上，自我注意网络可以对话语之间的上下文依赖关系进行建模，这有助于对模糊情感进行分类。我们在\textit{Friends}和\textit{EmotionPush}测试集中分别获得了59.6和55.0的未加权准确度分数。
2018-06-20 cs.CL
Slot Self-Attentive Dialogue State Tracking
University College London（伦敦大学学院）；Uppsala University（乌普萨拉大学）
在面向任务的对话系统中，对话状态跟踪器是一个不可或缺的组成部分，它可以跟踪用户在对话过程中的意图。实现这一目标的典型方法是填写完成任务所必需的多个预定义插槽。虽然近年来提出了各种对话状态跟踪方法，但大多数方法都是单独预测每个时隙的值，而没有考虑时隙之间的相关性。在本文中，我们提出了一个槽自注意力机制，可以自动学习槽的相关性。具体而言，首先利用槽令牌注意力从对话上下文中获得槽特定的特征。然后对这些特征进行堆叠槽自注意，以学习槽之间的相关性。我们在两个多领域面向任务的对话数据集上进行了全面的实验，包括MultiWOZ 2.0和MultiWOZ 2.1。实验结果表明，我们的方法在两个数据集上都达到了最先进的性能，验证了考虑时隙相关性的必要性和有效性。
2021-01-22 cs.AI cs.CL
Clickbait Detection in Tweets Using Self-attentive Network
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
在推文中检测点击诱饵仍然是一个难以捉摸的挑战。在本文中，我们描述了2017年Clickbait挑战赛中Zingel Clickbait检测器的解决方案，该检测器能够评估每条推文的点击诱饵水平。我们首先将回归问题重新格式化为多分类问题，基于注释方案。为了执行多分类，我们在双向门控递归单元（biGRU）的隐藏状态上应用了一种令牌级的自关注机制，这使得模型能够通过关注重要令牌来生成推文的特定于任务的向量表示。自关注神经网络可以端到端地训练，而不涉及任何手动特征工程。我们的检测器在2017年Clickbait Challenge的最终评估中排名第一。
2017-10-15 cs.CL
Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization
Shanghai Jiao Tong University（上海交通大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
本文提出CHRONOS，通过迭代自提问驱动大语言模型检索新闻信息并生成开放域时间线摘要，同时构建Open-TLS数据集，实验证明其性能可与封闭域最先进系统相媲美。
2025-01-01 cs.CL
Speaker diarisation using 2D self-attentive combination of embeddings
Trinity College, Cambridge（剑桥大学三一学院）
说话者拨号系统通常使用诸如i向量和d向量之类的说话者嵌入来对音频段进行聚类。由于不同类型的嵌入往往是互补的，本文提出了一个通用的框架，以提高性能，将它们组合成一个单一的嵌入，称为c向量。这种组合使用了一个二维（2D）的自我关注结构，它通过不仅在时间上而且在不同类型的嵌入上进行平均来扩展标准的自我关注层。本文提出的二维自注意结构分为同时组合和连续组合两类，分别采用单自注意层和多自注意层。原始自我关注层中的惩罚项与目标函数联合最小化以鼓励注释向量的多样性，该惩罚项也被修改以不仅获得不同的局部峰值，而且获得多个注释向量中的总体趋势。在AMI会议语料库上的实验表明，改进后的惩罚项使d向量系统的d向量相对说话人出错率（SER）分别提高了6%和21%，而使用我们最好的2D自注意结构的c向量可以进一步获得10%的相对SER降低。
2019-02-08 cs.CL cs.LG cs.SD
Self-Attentive Constituency Parsing for UCCA-based Semantic Parsing
Alparslan Türkeş Science and Technology University（阿尔帕斯兰·蒂尔凯什科技大学）；Research Institute in Information and Language Processing（信息与语言处理研究所）；University of Wolverhampton（伍尔弗汉普顿大学）
语义解析提供了一种提取机器能够理解的文本语义结构的方法。它用于各种需要文本理解的NLP应用程序，如摘要和问答。图表示是表达文本语义结构的一种语义表示方法。这样的表示生成表达和适当的基于图的目标结构。在本文中，我们主要关注基于UCCA图的语义表示。本文不仅介绍了现有的UCCA表示方法，而且提出了一种新的自注意神经元分析模型的UCCA表示。我们提出的结果为单语言和跨语言的任务使用zero-shot和少样本学习的低资源的语言。
2021-10-01 cs.CL
Constituency Parsing with a Self-Attentive Encoder
University of California, Berkeley（加州大学伯克利分校）；Computer Science Division（计算机科学系（加州大学伯克利分校））
我们证明，用自我关注的架构替换LSTM编码器可以改进最先进的判别式选区解析器。注意力的使用明确了信息在句子中不同位置之间传播的方式，我们用它来分析我们的模型并提出潜在的改进。例如，我们发现在编码器中分离位置和内容信息可以提高解析精度。此外，我们评估不同的词汇表征方法。我们的解析器在Penn Treebank上训练的单个模型获得了最新的结果：在不使用任何外部数据的情况下为93.55 F1，在使用预训练的单词表示时为95.13 F1。我们的解析器在SPMRL数据集中的9种语言中的8种语言上的准确性也优于之前发表的最佳准确性数据。
2018-05-02 cs.CL
Language ID Prediction from Speech Using Self-Attentive Pooling and 1D-Convolutions
AO HTSTS（AO HTSTS 公司）；NTR Labs（NTR 实验室）；Tomsk State University（托木斯克国立大学）
本备忘录描述了关于从语音中预测语言ID的SIGTYP 2021共享任务的NTR-TSU提交。口语识别（LID）是多语种自动语音识别（ASR）系统流水线中的重要步骤。对于许多低资源和濒危语言，只有单一的扬声器录音可能是可用的，需要域和扬声器不变的语言ID系统。在本备忘录中，我们展示了具有Self-Attentive Pooling层的卷积神经网络在语言识别任务中显示出有希望的结果。
2021-04-24 cs.CL eess.AS
ASAPP-ASR: Multistream CNN and Self-Attentive SRU for SOTA Speech Recognition
ASAPP Inc.（ASAPP公司）
在本文中，我们提出了国家的最先进的（SOTA）的性能LibriSpeech语料库与两种新的神经网络架构，多流CNN的声学建模和自我关注的简单递归单元（SRU）的语言建模。在混合ASR框架中，多流CNN声学模型在多个并行流水线中处理语音帧的输入，其中每个流具有用于分集的唯一扩张率。使用SpecAugment数据增强方法进行训练，它在测试-clean上实现了4%的相对字错误率（WER）改善，在测试-其他上实现了14%的改善。我们使用24层自关注SRU语言模型通过N-best重新评分进一步提高了性能，在test-clean上实现了1.75%的WER，在test-other上实现了4.46%的WER。
2020-05-21 cs.CL cs.SD eess.AS
Multiscale Self Attentive Convolutions for Vision and Language Modeling
Microsoft（微软）
自注意力机制已经成为许多最先进的语言理解模型的关键组成部分。本文证明了自注意力算子可以用1 × 1卷积运算表示。根据这一观察，我们提出了几个新的运营商：首先，我们介绍了一个二维版本的自注意力，适用于二维信号，如图像。其次，我们提出了1D和2D自注意卷积（SAC）算子，分别将自注意力从1x 1卷积推广到1xm和nxm卷积。虽然1D和2D自注意力对单个单词和像素进行操作，但SAC分别对m-gram和图像块进行操作。第三，我们提出了一个多尺度版本的SAC（MSAC），它通过采用多个SAC运营商，不同的过滤器大小，并行分析输入。最后，我们解释了如何MSAC可以用于视觉和语言建模，并进一步利用MSAC形成一个交叉关注的图像相似性机制。
2019-12-03 cs.CL cs.CV cs.LG
A Structured Self-attentive Sentence Embedding
IBM Watson（IBM 沃森）；Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
本文提出了一种新的模型，通过引入自注意提取一个可解释的句子嵌入。我们不使用向量，而是使用一个二维矩阵来表示嵌入，矩阵的每一行都代表句子的不同部分。我们还提出了一个自注意力机制和一个特殊的正则化项的模型。作为一个副作用，嵌入附带了一种简单的方法，可以可视化句子的哪些特定部分被编码到嵌入中。我们在3个不同的任务上评估我们的模型：作者分析，情感分类和文本蕴涵。结果表明，我们的模型产生了显着的性能增益相比，其他句子嵌入方法在所有的3个任务。
2017-03-09 cs.AI cs.CL cs.LG
Energy-based Self-attentive Learning of Abstractive Communities for Spoken Language Understanding
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
摘要抽象社区发现是一项重要的口语语言理解任务，其目标是根据会话中的话语是否可以被一个共同的抽象句子所概括来对它们进行分组。本文提供了一种新的方法来完成这项任务。我们首先介绍了一个神经语境话语编码器，具有三种类型的自我注意力机制。然后，我们使用基于能量的连体和三重态元架构对它进行训练。在AMI语料库上的实验表明，我们的系统优于多个基于能量和非基于能量的基线从国家的最先进的。代码和数据是公开的。
2019-11-08 cs.CL cs.LG
Highway Transformer: Self-Gating Enhanced Self-Attentive Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
自我注意力机制在各种序列学习任务中取得了令人瞩目的最新进展，它立足于多头点积注意，关注不同位置的全局情境。通过一个伪信息高速公路，我们引入了一个门控组件的自我依赖单位（SDU），采用LSTM风格的门控单元，以补充内部的语义重要性内的多维潜在空间的个人表示。辅助的基于内容的SDU门允许通过跳过的连接的调制的潜在嵌入的信息流，从而导致利用梯度下降算法的收敛速度的明显裕度。我们可以揭示门控机制的作用，以帮助基于上下文的Transformer模块，假设SDU门，特别是在浅层上，可以在优化过程中更快地推动它走向次优点。
2020-11-24 cs.CL cs.LG
End-to-End Trainable Self-Attentive Shallow Network for Text-Independent Speaker Verification
Humelo Inc.（Humelo公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；KAIST Institute for Artificial Intelligence（KAIST人工智能研究所）
广义端到端（GE2E）模型因其可扩展性和通用性而被广泛应用于说话人确认（SV）领域。然而，基于GE2E的长短期记忆（LSTM）有两个局限性：第一，GE2E的嵌入遭受消失梯度，这导致非常长的输入序列的性能下降。其次，话语没有被表示为适当固定的维度向量。在本文中，为了克服上述问题，我们提出了一种新的SV框架，端到端可训练的自注意浅层网络（SASN），结合了一个时间延迟神经网络（TDNN）和一个自注意池机制的基础上自注意的x向量系统在话语嵌入阶段。我们证明，该模型是高效的，并提供更准确的说话人确认比GE2E。对于VCTK数据集，仅小于GE2E的一半大小，所提出的模型在EER（等误差率）、DCF（检测代价函数）和AUC（曲线下面积）方面分别显示出比GE2E显著的性能改进，分别为约63%、67%和85%。值得注意的是，当输入长度变得更长时，所提出的模型的DCF分数改善是GE2E的约17倍。
2020-08-14 cs.CL cs.SD eess.AS
Self-Attentive Residual Decoder for Neural Machine Translation
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）；HEIG-VD / HES-SO（瑞士西部高等专业学院沃州工程师管理学院/瑞士西部高等专业学院）
具有注意力的神经序列到序列网络在机器翻译中取得了显著的性能。其有效性的原因之一是它们能够通过注意力机制在每个时间步预测中捕获相关的源侧上下文信息。然而，目标端上下文仅基于序列模型，在实践中，该模型容易产生近因偏差，并且缺乏有效捕获单词之间的非顺序依赖关系的能力。为了解决这一限制，我们提出了一个目标侧关注的残差递归网络进行解码，其中对前一个单词的关注直接有助于下一个单词的预测。剩余学习促进了来自遥远过去的信息的流动，并且能够强调任何先前翻译的单词，因此它可以访问更广泛的上下文。所提出的模型优于神经MT基线以及记忆和自我注意力网络对三种语言。对解码器学习到的注意力的分析证实，它强调了更广泛的上下文，并且它捕获了类似句法的结构。
2018-10-01 cs.CL
Fast Few shot Self-attentive Semi-supervised Political Inclination Prediction
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
随着普通大众越来越多地参与社交媒体，决策者/记者现在越来越普遍地在社交媒体上进行在线民意调查，以了解特定地点人民的政治倾向。这里需要注意的是，只有有影响力的人才能进行这样的在线民意调查，并大规模地进行接触。此外，在这种情况下，选民的分布是无法控制的，事实上可能是有偏见的。另一方面，如果我们能够解读社交媒体上的公开数据，以探究用户的政治倾向，我们将能够对调查人群有可控的见解，保持低调查成本，并在不涉及相关人员的情况下收集公开数据。因此，我们引入了一个自我关注的半监督框架的政治倾向检测，以进一步实现这一目标。我们的模型的优点是，它既不需要庞大的训练数据，也不需要存储社会网络参数。尽管如此，它实现了93.7%的准确性，没有注释的数据;此外，每个类只有几个注释的例子，它实现了竞争力的表现。我们发现，即使在资源受限的环境中，该模型也非常高效，并且当应用于各种现实生活场景时，从其预测中得出的见解与手动调查结果相匹配。
2022-09-23 cs.AI cs.CL cs.CY
(Self-Attentive) Autoencoder-based Universal Language Representation for Machine Translation
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
通用语言表示是机器翻译的圣杯。由于新的神经MT方法，似乎有很好的前景实现这一目标。在本文中，我们提出了一种新的架构的基础上结合变分自编码器与编码器-解码器，并引入一个额外的训练目标的语际损失。通过添加和强制这种语言间损失，我们能够为每种语言训练多个编码器和解码器，共享一个公共的通用表示。由于这种普遍表示的最终目标是为类似的输入句子（任何语言）产生接近的结果，我们建议通过用两种不同的语言编码同一个句子，将两种潜在表示解码为同一种语言并比较两种输出来评估它。WMT 2017土耳其语/英语任务的初步结果表明，所提出的架构能够学习通用语言表示，并同时训练两个翻译方向，并获得最先进的结果。
2018-10-15 cs.CL
CASA-NLU: Context-Aware Self-Attentive Natural Language Understanding for Task-Oriented Chatbots
Amazon AI（亚马逊人工智能）
自然语言理解是对话系统的核心组成部分。它通常涉及两个任务-意图分类（IC）和插槽标记（SL），然后是对话管理（DM）组件。这样的NLU系统迎合孤立的话语，从而将上下文管理的问题推到DM。然而，上下文信息对于正确预测会话中的意图和时隙至关重要。上下文NLU的先前工作在所使用的上下文信号的类型以及对它们对模型的影响的理解方面受到限制。在这项工作中，我们提出了一个上下文感知的自我注意的NLU（CASA-NLU）模型，使用多个信号，如以前的意图，插槽，对话行为和话语在一个可变的上下文窗口，除了当前用户的话语。CASA-NLU在两个会话数据集上的表现优于循环上下文NLU基线，其中一个数据集的IC任务增益高达7%。此外，CASA-NLU的非上下文变体在标准公共数据集- Snips和ATIS上实现了IC任务的最新性能。
2019-09-18 cs.CL cs.LG
Causality Extraction based on Self-Attentive BiLSTM-CRF with Transferred Embeddings
Sun Yat-Sen University（中山大学）
从自然语言文本中提取因果关系是人工智能中一个具有挑战性的开放性问题。现有的方法利用模式、约束和机器学习技术来提取因果关系，这在很大程度上依赖于领域知识，并且需要相当多的人力和时间来进行特征工程。在本文中，我们制定了一个新的因果关系标记方案的基础上，因果关系提取序列标记问题。在此基础上，我们提出了一种以BiLSTM-CRF模型为主干的神经因果关系提取器SCITE（Self-attentive BiLSTM-CRF wIth Transferred Embeddings），它可以直接提取因果关系，而不需要单独提取候选因果对并识别它们之间的关系。为了解决数据不足的问题，我们转移了上下文字符串嵌入，也称为Flair嵌入，在我们的任务中，它是在大型语料库上训练的。此外，为了提高因果关系抽取的性能，我们在SCITE中引入了多头自注意力机制来学习因果词之间的依赖关系。我们在一个公共数据集上对我们的方法进行了评估，实验结果表明，与基线相比，我们的方法实现了显著且一致的改进。
2020-11-08 cs.CL cs.IR cs.LG
Low-Resource Spoken Language Identification Using Self-Attentive Pooling and Deep 1D Time-Channel Separable Convolutions
NTR Labs（NTR实验室）；AO HTSTS
本备忘录描述了NTR/TSU在Dialog 2021会议上赢得低资源ASR挑战的提交，语言识别跟踪。口语识别（LID）是多语种自动语音识别（ASR）系统流水线中的重要步骤。传统上，ASR任务需要大量的标记数据，这对于世界上大多数语言（包括俄罗斯的大多数语言）来说是无法实现的。在本备忘录中，我们展示了具有Self-Attentive Pooling层的卷积神经网络在语言识别任务的低资源设置中显示出有希望的结果，并为低资源ASR挑战数据集建立了SOTA。此外，我们比较了这个和更多样化的VoxForge数据集和状态的混淆矩阵的结构，并证实了这样一个假设，即只要数据集足够多样化，使得其他分类因素，如性别，年龄等都得到了很好的平均，LID系统的混淆矩阵就具有语言相似性度量。
2021-05-31 cs.CL cs.LG cs.SD
A Hierarchical Structured Self-Attentive Model for Extractive Document Summarization (HSSAS)
School of Information Science and Engineering, Central South University（中南大学信息科学与工程学院）
神经网络结构和训练算法的最新进展表明了表示学习的有效性。基于神经网络的模型比传统的模型产生更好的表示。它们能够自动学习句子和文档的分布式表示。为此，我们提出了一种新的模型，解决了几个问题，没有充分建模的先前提出的模型，如内存问题，并将文档结构的知识。我们的模型使用一个层次结构的自我注意力机制来创建句子和文档嵌入。该架构反映了文档的层次结构，从而使我们能够获得更好的特征表示。注意力机制提供额外的信息源来指导摘要提取。新模型将摘要任务视为一个分类问题，在该问题中，模型计算各个摘要-摘要成员资格的概率。该模型的预测被分解的几个功能，如信息内容，显着性，新颖性和位置表示。该模型进行了评估，两个著名的数据集，CNN /每日邮报，DUC 2002年。实验结果表明，我们的模型优于目前的提取国家的最先进的一个相当大的保证金。
2018-05-20 cs.CL
A Self-Attentive Emotion Recognition Network
Cyprus University of Technology（塞浦路斯理工大学）；Telefonica Research（西班牙电信研究院）；Samsung Research（三星研究院）
现代深度学习方法在对序列数据进行建模和分类方面取得了突破性的性能。具体来说，注意力网络构成了捕捉长时间动态的最先进范例。本文探讨了这种范式的功效在具有挑战性的任务中的情感识别的二元对话。与现有的方法相比，我们的工作引入了一种新的注意力机制，能够推断每个过去的话语对当前说话者情绪状态的影响的重要性。建议的注意力机制执行此推理过程，而不需要一个解码器网络，这是通过创新的自我注意力参数。我们的自注意力网络捕获连续编码器网络状态之间的相关模式，从而允许在任意长时间范围内稳健有效地建模时间动态。因此，我们能够在长时间的讨论过程中捕捉强烈的情感模式。考虑到具有挑战性的IEMOCAP基准，我们展示了我们的方法的有效性。正如我们所展示的，我们设计的方法优于最先进的替代方案和常用的方法，从而在在线社交网络（OSN）分析任务的背景下产生了有前途的新研究方向。
2019-04-24 cs.CL cs.LG stat.ML
An Attentive Sequence Model for Adverse Drug Event Extraction from Biomedical Text
SAAMA AI Research Lab（SAAMA人工智能研究实验室）
药物不良反应是一个潜在的危险问题，可能导致患者的死亡和发病。药物不良事件信息提取是生物医学研究中的一个重要问题。我们将ADE抽取建模为一个推理问题，并从机器阅读理解（MRC）文献中获得灵感，设计了我们的模型。我们设计这样一个模型的目的是利用临床文本中的局部语言背景，并实现序列内的相互作用，以便共同学习对药物和疾病实体进行分类，并提取由给定药物引起的不良反应。我们的模型利用自我注意力机制来促进文本序列中的序列内交互。这使我们能够可视化和理解网络如何利用本地和更广泛的上下文进行分类。
2018-01-02 cs.CL
Doc2Im: document to image conversion through self-attentive embedding
Microsoft AI & R（微软人工智能与研发部门）
文本分类是自然语言处理应用中的一项基本任务。这一领域的最新研究主要分为两个主要的子领域。学习表示是一个子领域，学习更深层次的模型，包括顺序和卷积模型，这又连接到表示是另一边。我们重申了这样的想法，即表示越强，就需要越简单的分类器模型来实现更高的性能。在本文中，我们提出了一个全新的文本分类研究方向，将文本转换为与图像非常相似的表示，这样任何能够处理图像的深度网络都同样能够处理文本。我们更深入地研究了将文档表示为图像，并随后利用非常简单的基于卷积的模型，这些模型来自计算机视觉领域。该图像可以像任何其他图像一样进行裁剪，重新缩放，重新采样和增强，以与大多数最先进的基于大型卷积的模型一起工作，这些模型旨在处理大型图像数据集。我们展示了令人印象深刻的结果与相关领域的一些最新基准。我们进行了迁移学习实验，既从文本到文本域，也从图像到文本域。我们相信，这是一个范式的转变，从文档理解和文本分类的方式已经做了传统的，并将推动许多新的研究思路在社区。
2018-11-08 cs.CL cs.CV
CUNI System for the WMT18 Multimodal Translation Task
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提交我们的提交给WMT 18多模态翻译任务。我们提交的主要特点是应用自注意网络而不是递归神经网络。我们评估两种方法，将视觉功能的模型：第一，我们包括图像表示作为另一个输入到网络;第二，我们训练模型预测的视觉功能，并将其作为一个辅助目标。对于我们的提交，我们获得了文本和多模态的额外数据。这两种方法都比递归网络和自注意文本基线有了显着的改进。
2018-11-12 cs.CL
Compact Personalized Models for Neural Machine Translation
Lilt, Inc.（Lilt公司）
我们提出并比较了自注意神经机器翻译模型的基于梯度的领域自适应方法。我们证明了在自适应过程中可以冻结大部分模型参数，通过组套索正则化在学习过程中鼓励偏移张量集合中的结构稀疏性，从而使翻译质量降低最小或不降低。我们评估这种技术在多个数据集和语言对的批量和增量适应。我们的系统架构-结合了最先进的自关注模型和紧凑的领域自适应-提供了高质量的个性化机器翻译，既节省空间又节省时间。
2018-11-05 cs.CL
AMuSeD: An Attentive Deep Neural Network for Multimodal Sarcasm Detection Incorporating Bi-modal Data Augmentation
Campus Fryslân, University of Groningen（格罗宁根大学弗里斯兰校区）；Indian Institute of Technology Indore（印度理工学院印多尔分校）；Columbia University（哥伦比亚大学）
针对多模态讽刺检测数据稀缺问题，提出AMuSeD模型，通过两阶段双模态数据增强（回译文本科+定制化FastSpeech 2生成讽刺语调音频）结合自注意力融合模态，在文本-音频模态下F1达81.0%，超MUStARD三模态模型。
2024-12-13 cs.CL
Attentive Multi-Layer Perceptron for Non-autoregressive Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
本文提出注意力多层感知机（AMLP），通过输入自适应的投影实现线性复杂度，并与非自回归模型结合，在文本到语音合成和机器翻译上显著提升效率与性能。
2023-10-14 cs.CL
