Drop your Decoder: Pre-training with Bag-of-Word Prediction for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
针对密集检索中掩码自编码器预训练计算成本高且机理不明的问题,提出用简化的词袋预测任务替换解码器,在无需额外参数下实现最先进检索性能且训练提速67%。
2024-04-22 cs.CL cs.IR
Porous Lattice-based Transformer Encoder for Chinese NER
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Engineering, Westlake University(西湖大学工学院);Xiaomi AI Lab, Xiaomi Inc.(小米人工智能实验室,小米公司)
将格模型应用于汉字级命名实体识别是一种有效的利用显式词语信息的方法。最近的工作扩展了循环和卷积神经网络,以模拟格输入。然而,由于DAG结构或格输入的可变大小的潜在词集,这些模型阻碍了批量计算的方便使用,导致严重的低效。本文提出了一种基于多孔格的中文命名实体识别Transformer编码器。由于Transformer中的掩码机制,该编码器能够更好地利用GPU的并行性和批处理计算。我们首先研究了格感知自我注意与相对位置表征的耦合,以探索格结构中的有效单词信息。此外,为了加强相邻标记之间的局部依赖性,我们提出了一种新的多孔结构,在自注意计算过程中,每两个非相邻标记通过一个共享的枢轴节点连接。在四个数据集上的实验结果表明,我们的模型比最先进的模型快9.47倍,而与其性能大致相当。本文的源代码可以从https://github.com/xxx/xxx获得。
2020-10-28 cs.CL cs.IR
DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs
School of Computer Science and Engineering(计算机科学与工程学院)
DuConTE通过双粒度编码和拓扑约束注意力,提升带文本图的语义表示,实现文本和结构信息的融合,实验表明其在多个基准数据集上表现优异。
2026-04-19 cs.AI cs.CL
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University(复旦大学)
双向长短期记忆网络(BiLSTM)已被广泛用作解决命名实体识别(NER)任务的模型中的编码器。近年来,由于其并行性和优越的性能,Transformer在各种自然语言处理(NLP)任务中被广泛采用。然而,Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中,我们提出了TENER,NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力,我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
SG-Net: Syntax Guided Transformer for Language Representation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(日本国立信息通信研究机构)
理解人类语言是人工智能的关键主题之一。对于语言表示,有效地从细节丰富的冗长文本中建模语言知识并去除噪声的能力是提高其性能的关键。传统的注意模型没有明确的约束条件,只注意到所有的词,导致对某些不确定的词的注意不准确。在这项工作中,我们建议使用语法来指导文本建模,将明确的语法约束到注意力机制更好的语言动机的单词表示。具体地说,对于自注意网络(SAN)赞助的基于transformer的编码器,我们将语法兴趣依赖(SDOI)设计引入到SAN中,形成具有语法引导的自注意的SDOI-SAN。语法引导网络(SG-Net)然后通过双上下文架构由该额外的SDOI-SAN和来自原始Transformer编码器的SAN组成,以获得更好的语言学启发表示。建议的SG-网络应用于典型的Transformer编码器。在流行的基准任务上进行的广泛实验,包括机器阅读理解、自然语言推理和神经机器翻译,表明了所提出的SG-Net设计的有效性。
2021-01-07 cs.AI cs.CL cs.IR
Deep API Learning
The Hong Kong University of Science and Technology(香港科技大学);The University of Newcastle(纽卡斯尔大学);Microsoft Research(微软研究院)
开发人员经常想知道如何实现某个功能(例如,如何解析XML文件)。在这方面,基于API相关的自然语言查询来获得API使用序列是非常有帮助的。给定查询,现有方法利用信息检索模型来搜索匹配的API序列。这些方法将查询和API视为词袋(即,关键字匹配或字到字对齐),并且缺乏对查询语义的深入理解。我们提出了DeepAPI,这是一种基于深度学习的方法,可以为给定的自然语言查询生成API使用序列。它学习查询中的单词序列和相关API的序列,而不是词袋假设。DeepAPI采用了一种名为RNN编码器-解码器的神经语言模型。它将词序列(用户查询)编码为固定长度的上下文向量,并基于上下文向量生成API序列。我们还通过考虑各个API的重要性来增强RNN编码器-解码器。我们用从GitHub收集的700多万个带注释的代码片段对我们的方法进行了经验评估。结果表明,我们的方法产生了很大程度上准确的API序列,并优于相关的方法。
2017-07-14 cs.CL cs.LG cs.NE
Knowing Isn't Always Saying: When Do Spatial Encodings Reach Answers in Vision-Language Models?
Peking University(北京大学);Tsinghua University(清华大学)
本研究针对视觉语言模型的空间编码何时能抵达答案的问题,采用方向干预方法,揭示了因果影响仅出现在中深层、文本思维链与视觉接地提示的不同作用等传输模式,为解决编码-接地差距提供了新视角。
2026-08-25 cs.CL
Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu
NUCES (FAST)(国家科技大学(FAST));AIM Lab(AIM实验室)
乌尔都语是南亚广泛使用的语言。尽管乌尔都语存在大量文献,但数据仍然不足以通过NLP技术自然地处理语言。英语是一种高资源语言,但乌尔都语和其他资源不足的语言长期以来一直被忽视,因此存在非常有效的语言模型。为了为这些语言创建有效的语言模型,我们必须有好的词嵌入模型。对于乌尔都语,我们只能找到使用skip-gram模型训练和开发的词嵌入。在本文中,我们已经建立了一个语料库乌尔都语通过刮和整合数据从各种来源和编制乌尔都语词汇。我们还修改了快速文本嵌入和N-Gram模型,以便在我们构建的语料库上训练它们。我们使用这些训练的嵌入进行单词相似性任务,并将结果与现有技术进行比较。
2021-02-22 cs.CL
Graph-based Filtering of Out-of-Vocabulary Words for Encoder-Decoder Models
Tokyo Metropolitan University(东京都立大学)
编码器-解码器模型通常只采用训练语料库中经常使用的单词,以减少计算成本并排除噪声。然而,该词汇集可能仍然包括干扰编码器-解码器模型中的学习的单词。本文提出了一种方法,选择更合适的话学习编码器,不仅利用频率,而且共现信息,我们使用HITS算法捕获。我们将我们提出的方法应用于两个任务:机器翻译和语法错误校正。对于日语到英语的翻译,该方法实现了BLEU分数,比基线高出0.56分。它也优于英语语法错误纠正的基线方法,F0.5测量值高出1.48分。
2018-05-28 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University(厦门大学);Soochow University(苏州大学);Tsinghua University(清华大学)
神经机器翻译(NMT)严重依赖于词级建模来学习输入句子的语义表示。但是,对于没有自然词分隔符的语言(例如,中文)中输入句子必须首先进行标记化,传统的NMT面临两个问题:1)难以找到用于源句子建模的最佳标记化粒度; 2)1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题,我们提出了基于词格的循环神经网络(RNN)编码器,它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入,并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此,基于词格的编码器不仅减轻了标记化错误的负面影响,而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明,该编码器优于传统的编码器。
2016-12-09 cs.CL
Training Bi-Encoders for Word Sense Disambiguation
Compass, Inc.(Compass公司)
现代基于transformer的神经架构几乎在每一个NLP任务中都产生了令人印象深刻的结果,词义消歧,即在给定上下文中识别单词的正确含义的问题,也不例外。今天WSD中最先进的方法利用词汇信息以及来自这些模型的预训练嵌入,以实现与标准评估基准上的人类注释者间协议相当的结果。同样,我们尝试了几种策略来优化这个特定任务的双编码器,并提出了向我们的模型呈现词汇信息的替代方法。通过我们的多阶段预训练和微调管道,我们进一步发展了词义消歧的最新技术。
2021-05-21 cs.CL
Encoders Help You Disambiguate Word Senses in Neural Machine Translation
Uppsala University(乌普萨拉大学);University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
神经机器翻译(NMT)在翻译歧义词方面取得了新的最先进的性能。然而,目前还不清楚哪个组成部分主导了消歧过程。在本文中,我们探讨的能力NMT编码器和解码器消除歧义的词义,通过评估隐藏状态和调查的自我注意力的分布。我们训练一个分类器来预测一个歧义名词的翻译是否正确。我们发现,编码器隐藏状态优于词嵌入显着,这表明编码器充分编码的消歧到隐藏状态的相关信息。解码器可以提供用于消除歧义的进一步相关信息。此外,注意权重和注意熵表明,自我注意可以检测出歧义名词,并将更多的注意力分配到上下文。请注意,这是一个修订版。与解码器隐藏状态相关的内容已更新。
2020-05-06 cs.CL
Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文从理论和实验两方面揭示,基于对比损失微调的句编码器会根据信息论量隐式地对词进行加权,更具信息量的词会获得更大权重。
2023-10-24 cs.CL
Unwritten Languages Demand Attention Too! Word Discovery with Encoder-Decoder Models
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);Institute of Informatics, UFRGS(南里奥格兰德联邦大学信息学研究所)
单词发现是从未分割的文本中提取单词的任务。在本文中,我们研究在何种程度上神经网络可以应用到这个任务中的一个现实的非书面语言的情况下,只有小语料库和有限的注释。我们调查了两种情况:一种是没有监督,另一种是有限制的监督,可以访问最频繁的单词。获得的结果表明,通过仅用5,157个句子训练编码器-解码器神经机器翻译系统,可以检索至少27%的金标准词汇。这一结果与特定任务贝叶斯非参数模型的结果接近。此外,我们的方法具有生成翻译对齐的优点,可以用来创建双语词典。从未来的角度来看,这种方法也非常适合直接从语音中工作。
2017-09-19 cs.CL
Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation
LORIA(洛林计算机科学及其应用实验室);Posos(Posos公司)
一些基于transformer的模型可以执行跨语言迁移学习:这些模型可以在一种语言的特定任务上进行训练,并在另一种语言的相同任务上给出相对较好的结果,尽管只在单语任务上进行了预训练。但是,对于这些基于transformer的模型是否能够跨语言学习通用模式,目前还没有达成共识。我们提出了一个词级的任务不可知的方法来评估这种模型建立的上下文表示的对齐。我们表明,我们的方法提供了更准确的翻译词对比以前的方法来评估字级对齐。我们的研究结果表明,基于多语言transformer的模型的一些内层优于其他显式对齐的表示,根据更严格的多语言对齐定义,甚至更是如此。
2022-07-19 cs.CL
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);China Mobile Online Services(中移在线服务有限公司);Tianjin University(天津大学)
由于其有效性和性能,Transformer翻译模型引起了广泛的关注,最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止,单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息,而解码器层进行转换。在这项工作中,我们表明情况并非如此:翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是,我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法,我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化:如果翻译已经发生在编码器层中,也许我们可以增加编码器层的数量,同时减少解码器层的数量,提高解码速度,而不会损失翻译质量?我们的实验表明确实如此:我们可以将速度提高到2.3倍,而翻译质量略有提高,而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU(En-De)。
2021-04-20 cs.CL
Lattice-Based Transformer Encoder for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构(NICT))
神经机器翻译(NMT)采用确定性序列作为源表示。然而,无论是词级还是子词级分割都有多种选择,可以使用不同的词分割器或不同的子词词汇量来分割源序列。我们假设分割的多样性可能会影响NMT的性能。为了将不同的分割与最先进的NMT模型Transformer相结合,我们提出了基于格的编码器,以在训练过程中自动探索有效的单词或子单词表示。我们提出了两种方法:1)格位置编码和2)格感知的自我注意。这两种方法可以结合使用,相互补充,进一步提高翻译性能。实验结果表明,基于格的编码器在字级和子字级表示上优于传统的Transformer编码器。
2019-06-04 cs.CL
On Sparsifying Encoder Outputs in Sequence-to-Sequence Models
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
序列到序列模型通常将所有编码器输出传输到解码器进行生成。在这项工作中,相比之下,我们假设这些编码器的输出可以被压缩,以缩短交付解码的序列。我们以Transformer为实验平台,在编码器和解码器之间引入一层随机门。使用稀疏诱导L0惩罚的预期值对门进行正则化,从而完全屏蔽编码器输出的子集。换句话说,通过联合训练,L0 DROP层强制Transformer通过其编码器状态的子集来路由信息。我们研究了这种稀疏化对两个机器翻译和两个摘要任务的影响。实验表明,根据任务的不同,大约40-70%的源编码可以被修剪,而不会显着影响质量。输出长度的减少使L0 DROP具有提高解码效率的潜力,与标准Transformer相比,它在文档摘要任务上的速度提高了1.65倍。我们分析了L0 DROP的行为,并观察到它表现出系统的偏好修剪某些词类型,例如,功能词和标点符号被删减得最多。受这些观察的启发,我们探讨了指定基于规则的模式,掩盖了编码器输出的基础上,如部分的语音标签,词频和单词位置的信息的可行性。
2020-04-24 cs.CL
TransAlign: Machine Translation Encoders are Strong Word Aligners, Too
University of Würzburg Center for Artificial Intelligence and Data Science (CAIDAS)(乌尔姆大学人工智能与数据科学中心(CAIDAS))
提出TransAlign,利用多语言机器翻译模型编码器进行词对齐,在跨语言迁移的词元分类任务中大幅优于现有词对齐器及非词对齐标签投影方法。
2025-10-31 cs.CL
Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
我们提出了一个简单而有效的方法,将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络(GCN),这是最近开发的一类神经网络,用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示(即编码器的隐藏状态)。GCN将单词表示作为输入并产生单词表示作为输出,因此它们可以容易地作为层并入标准编码器(例如,在双向RNN或卷积神经网络之上)。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器,并观察到实质性的改进,在所有考虑的设置,其语法不可知的版本。
2020-06-18 cs.CL
Unleashing the Multilingual Encoder Potential: Boosting Zero-Shot Performance via Probability Calibration
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出通过概率校准技术修正预训练多语言编码器在完形填空式零样本任务中对高频标签词的预测偏好,并在单语和多语编码器的零样本及少样本场景中验证了该方法能带来显著性能提升。
2023-10-19 cs.CL
Learning to Explain Non-Standard English Words and Phrases
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
我们描述了一种数据驱动的方法,用于在给定的句子中自动解释新的非标准英语表达,该方法建立在一个大型数据集上,该数据集包括来自UrbanDictionary.com的15年众包示例。与之前的研究不同,我们研究了学习神经序列到序列模型的可能性,该模型可以在给定上下文的情况下生成对看不见的非标准英语表达的解释。我们提出了一个双编码器的方法-一个字级编码器学习上下文的表示,第二个字符级编码器学习目标非标准表达式的隐藏表示。我们的模型可以产生合理的定义,新的非标准英语表达的上下文与一定的信心。
2017-09-26 cs.CL
Modeling Source Syntax for Neural Machine Translation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Soochow University(苏州大学);Tencent AI Lab(腾讯AI实验室)
尽管神经机器翻译(NMT)中的无语言学的序列到序列模型具有一定的隐式学习源句子的句法信息的能力,但本文表明源句法可以显式地并入NMT以有效地提供进一步的改进。具体来说,我们线性化源句子的分析树,以获得结构化的标签序列。在此基础上,我们提出了三种不同类型的编码器来将源语法纳入NMT:1)并行RNN编码器,学习单词和标签注释向量; 2)分层RNN编码器,在两级层次结构中学习单词和标签注释向量;以及3)混合RNN编码器,在单词和标签混合的序列上重复学习单词和标签注释向量。实验结果表明,本文提出的三种句法编码器都能有效地提高汉英翻译的准确率。值得注意的是,最简单的RNN编码器,即,混合RNN编码器产生最佳性能,显著提高了1.4个BLEU点。此外,从几个角度进行了深入的分析,以揭示源语法的好处NMT。
2017-05-02 cs.CL
Radical-level Ideograph Encoder for RNN-based Sentiment Analysis of Chinese and Japanese
Keio University(庆应义塾大学)
在非字母语言如汉语和日语中,字符词汇量可能非常大,这使得神经网络模型非常庞大以处理此类语言。我们探索了一种情感分类模型,该模型采用汉字的偏旁部首,即汉语的汉字和日语的汉字的嵌入。我们的模型由一个CNN词特征编码器和一个双向RNN文档特征编码器组成。所取得的结果与基于字符嵌入的模型相当,并且接近于最先进的基于词嵌入的模型,词汇量比基于字符嵌入的模型和基于词嵌入的模型小90%,并且参数分别比基于字符嵌入的模型和基于词嵌入的模型少至少13%和80%。实验结果表明,基于激进嵌入的方法对于中文和日文的机器学习是具有成本效益的。
2017-08-10 cs.CL
ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations
The Hong Kong University of Science and Technology(香港科技大学);Sinovation Ventures(创新工场)
文本编码器的预训练通常将文本处理为对应于小文本单元的令牌序列,例如英语中的单词片段和中文中的字符。它忽略了较大文本粒度所携带的信息,因此编码器无法轻松适应某些字符组合。这导致重要语义信息的丢失,这对于中文来说尤其成问题,因为该语言没有明确的词边界。在本文中,我们提出了ZEN,一个基于BERT的中文(Z)文本编码器增强的N-gram表示,在训练过程中考虑不同的字符组合。因此,潜在的字或相位边界被明确地预先训练并使用字符编码器(BERT)进行微调。因此,ZEN包含了字符序列和它所包含的单词或短语的综合信息。实验结果表明ZEN在一系列中文NLP任务上的有效性。我们表明,ZEN使用比其他已发布的编码器更少的资源,可以在大多数任务上实现最先进的性能。此外,它表明,合理的性能时,ZEN是在一个小的语料库,这是很重要的应用预训练技术的情况下,有限的数据进行训练,可以获得。ZEN的代码和预训练模型可以在https://github.com/sinovation/zen上找到。
2019-11-02 cs.CL
Inflected Forms Are Redundant in Question Generation Models
University of Macau(澳门大学);Meituan Inc.(美团公司)
具有编码器-解码器框架的神经模型为问题生成(QG)提供了可行的解决方案。然而,在分析模型词汇表后,我们发现当前的模型(基于RNN的和基于预训练的)有超过23%的变形形式。结果,编码器将为变形形式生成单独的嵌入,导致训练数据和参数的浪费。更糟糕的是,在解码时,这些模型容易受到不相关噪声的影响,并且它们的计算成本很高。在本文中,我们提出了一种方法,以提高QG的性能,融合词转换。首先,我们从编码器的输入中识别出词的屈折形式,并将其替换为词根词,让编码器更加关注重复的词根词。其次,我们建议将QG适应为编码器-解码器框架中以下动作的组合:生成疑问词,从源序列复制词或生成词变换类型。这种扩展可以大大减少解码器中预测字的大小以及噪声。我们将我们的方法应用于一个典型的基于RNN的模型和\textsc{UniLM},以获得改进的版本。我们在SQuAD和MS MARCO数据集上进行了广泛的实验。实验结果表明,改进后的算法在BLEU、ROUGE-L和METEOR等性能指标以及时间开销方面都明显优于相应的基准算法。
2023-01-01 cs.CL
Understanding Neural Machine Translation by Simplification: The Case of Encoder-free Models
Uppsala University(乌普萨拉大学);University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
本文通过简化神经机器翻译(NMT)结构和训练无编码器的NMT模型来理解NMT。在无编码器模型中,词嵌入和位置嵌入的总和表示源。解码器是一个标准的Transformer或递归神经网络,通过注意力机制直接处理嵌入。实验结果表明:(1)无编码器模型中的注意力机制是一个强的特征提取器;(2)无编码器模型中的词嵌入与传统模型中的词嵌入相比具有竞争力;(3)非语境化的源表示导致性能大幅下降;(4)无编码器模型对德英和汉英对齐质量的影响不同。
2019-07-18 cs.CL
Word-level Speech Recognition with a Letter to Word Encoder
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个直接到单词的序列模型,它使用一个词网络来学习词嵌入的字母。词网络可以与任意序列模型无缝集成,包括连接主义时间分类和注意力编码器-解码器模型。我们表明,我们的直接到字模型可以实现字出错率增益超过子字级模型的语音识别。我们还表明,我们的直接到词的方法保留了预测的能力,没有看到在训练时,没有任何再培训的话。最后,我们证明了词级模型可以使用比子词级模型更大的步幅,同时保持准确性。这使得模型在训练和推理方面都更有效。
2020-07-14 cs.CL cs.SD eess.AS
Attention Is All You Need for Chinese Word Segmentation
Shanghai Jiao Tong University(上海交通大学)
本文在继承贪心解码算法的基础上,进一步加强了汉语分词模型本身的功能,从而得到了一个更快、更准确的汉语分词模型。我们的模型包括一个注意力只堆叠编码器和一个足够轻的解码器的贪婪分割加上两个高速公路连接更平滑的训练,其中编码器是由一个新提出的Transformer变体,高斯掩码定向(GD)Transformer,和biaffine注意力评分。通过有效的编码器设计,我们的模型只需要采取unigram特征进行评分。我们的模型在SIGHAN Bakeoff基准数据集上进行了评估。实验结果表明,在严格的封闭测试设置方面,该模型在最高的分割速度下,在强基线下实现了新的最先进或相当的性能。
2020-10-06 cs.CL
Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学)
本文研究了基于序列标记的口语语言理解的编码器-解码器框架。我们引入双向长短期记忆-长短期记忆网络(BLSTM-LSTM)作为编码器-解码器模型,以充分利用深度学习的力量。在序列标记任务中,输入和输出序列是逐字对齐的,而注意力机制不能提供精确的对齐。为了解决这个问题,我们提出了一种新的编码器-解码器框架的焦点机制。在标准ATIS数据集上的实验表明,具有焦点机制的BLSTM-LSTM通过优于标准BLSTM和基于注意力的编码器-解码器来定义新的最新技术水平。进一步的实验也表明,该模型对语音识别错误具有更好的鲁棒性。
2017-03-13 cs.CL
Can Language Model Understand Word Semantics as A Chatbot? An Empirical Study of Language Model Internal External Mismatch
University of Toronto(多伦多大学);University of Alberta(阿尔伯塔大学)
本文针对语言模型内部与外部不匹配问题,研究了Encoder-only、Decoder-only和Encoder-Decoder预训练模型在词语义理解上的差异,揭示了提示与内部表征间的知识不一致性。
2024-09-21 cs.CL
An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation
Uppsala University(乌普萨拉大学);University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
最近的研究表明,神经机器翻译(NMT)中的编码器-解码器注意力机制不同于统计机器翻译中的词对齐。本文以NMT模型中的词义消歧为例,重点分析了编码器-解码器的注意力机制。我们假设注意力机制在翻译歧义词时更关注语境标记。我们探讨了翻译歧义名词时的注意分配模式。与直觉相反,我们发现,与其他名词相比,注意力机制可能会将更多的注意力分配给歧义名词本身,而不是上下文标记。我们的结论是,注意力机制是不是NMT模型的主要机制,以纳入上下文信息的词义消歧。实验结果表明,NMT模型学习编码上下文信息必要的WSD在编码器隐藏状态。对于Transformer模型中的注意力机制,我们揭示了前几层逐渐学习“对齐”源和目标令牌,最后几层学习从相关但未对齐的上下文令牌中提取特征。
2018-10-17 cs.CL
Neural Machine Translation with Word Predictions
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
在神经机器翻译(NMT)的编码器-解码器结构中,编码器和解码器中递归结构的隐藏状态携带着句子的关键信息,这些向量由翻译错误随时间的反向传播更新的参数生成。我们认为,传播错误通过端到端的经常性结构是不是一个直接的方式来控制隐藏的向量。在本文中,我们建议使用单词预测作为直接监督的机制。更具体地说,我们要求这些向量能够预测目标句子中的词汇。我们的简单机制确保了编码器和解码器中更好的表示,而无需使用任何额外的数据或注释。这也有助于减少目标端词汇量,提高解码效率。在汉英和德英机器翻译任务上的实验表明,BLEU分别提高了4.53和1.3
2017-08-05 cs.CL
On Measuring Social Biases in Sentence Encoders
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
词嵌入关联测试表明,GloVe和word2vec词嵌入表现出基于性别、种族和其他社会结构的类似人类的内隐偏见(Caliskan等人,2017年)的报告。与此同时,学习可重用文本表示的研究已经开始探索高级文本,一些句子编码器看到了热情的采用。因此,我们扩展了词嵌入关联测试来测量句子编码器中的偏差。然后,我们测试了几个句子编码器,包括最先进的方法,如ELMo和BERT,在以前的工作中研究的社会偏见和两个重要的偏见,很难或不可能在单词水平上测试。我们观察到混合的结果,包括可疑的敏感性模式,这表明测试的假设可能并不普遍。最后,我们提出了未来工作的方向,衡量句子编码器的偏见。
2019-03-25 cs.CL cs.CY
Universal Sentence Encoder
Google Research(谷歌研究院)
我们提出了将句子编码为嵌入向量的模型,这些嵌入向量专门针对迁移学习到其他NLP任务。该模型是有效的,并导致在不同的传输任务的准确性能。编码模型的两种变体允许在准确性和计算资源之间进行权衡。对于这两种变体,我们调查和报告模型复杂性,资源消耗,传输任务训练数据的可用性和任务性能之间的关系。与通过预训练的词嵌入使用词级迁移学习的基线以及不使用任何迁移学习的基线进行比较。我们发现使用句子嵌入的迁移学习往往优于单词水平的迁移。通过句子嵌入的迁移学习,我们观察到了令人惊讶的良好性能,并且对于迁移任务使用了最少量的监督训练数据。我们获得了令人鼓舞的结果词嵌入关联测试(WEAT)针对检测模型的偏见。我们的预训练句子编码模型可在TF Hub上免费下载。
2018-04-12 cs.CL
Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Facebook AI Research(脸书人工智能研究院)
词义消歧(WSD)的一个主要障碍是词义不是均匀分布的,导致现有模型在训练过程中对罕见或不可见的词义表现不佳。我们提出了一个双编码器模型,它独立地嵌入(1)目标词及其周围的上下文和(2)每个意义的字典定义或注释。编码器在相同的表示空间中联合优化,使得可以通过为每个目标词嵌入找到最近的意义嵌入来执行意义消歧。我们的系统在英语全词WSD上的表现优于以前最先进的模型;这些收益主要来自于稀有感官的性能提高,导致在较不频繁的感官上的错误减少了31.1%。这表明,罕见的意义可以更有效地消除歧义,通过建模他们的定义。
2020-06-02 cs.CL
Learning to Compose Words into Sentences with Reinforcement Learning
DeepMind
我们使用强化学习来学习树结构神经网络,以计算自然语言句子的表示。与先前的工作树结构的模型,其中的树被提供作为输入或预测使用监督显式树库注释,在这项工作中的树结构进行了优化,以提高性能的下游任务。实验证明了学习任务特定的组合顺序的好处,优于顺序编码器和递归编码器的树库注释的基础上。我们分析了诱导树,并表明,虽然他们发现了一些语言直观的结构(例如,名词短语,简单动词短语),它们不同于传统的英语句法结构。
2016-11-28 cs.CL
UAlberta at SemEval-2023 Task 1: Context Augmentation and Translation for Multilingual Visual Word Sense Disambiguation
Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
阿尔伯塔大学团队为SemEval-2023 V-WSD任务提出结合BabelNet释义与多模态编码器的新算法,通过语言模型生成描述增强短上下文以提升准确率,最终在56支队伍中排名第18。
2023-06-24 cs.CL
Attention Visualizer Package: Revealing Word Importance for Deeper Insight into Encoder-Only Transformer Models
School of Computer Science, University of Windsor(温莎大学计算机科学学院)
本文介绍 Attention Visualizer 包,通过分析单词对最终嵌入的影响来可视化仅编码器 Transformer 模型中词的重要性,以增强模型可解释性。
2023-08-28 cs.AI cs.CL
Fine-tuning Encoders for Improved Monolingual and Zero-shot Polylingual Neural Topic Modeling
Johns Hopkins University(约翰霍普金斯大学)
神经主题模型可以用深度预训练的基于transformer的单词预测模型的学习表示来增强或替换词袋输入。使用来自多语言模型的表示的一个额外好处是,它们促进了zero-shot多语言主题建模。然而,虽然人们已经广泛观察到预训练的嵌入应该针对给定的任务进行微调,但对于主题建模等无监督任务来说,监督应该是什么样子还不清楚。因此,我们提出了几种微调编码器的方法,以改善单语和zero-shot多语言神经主题建模。我们考虑对辅助任务进行微调,构建新的主题分类任务,将主题分类目标直接集成到主题模型训练中,并继续进行预训练。我们发现,微调编码器表示的主题分类和主题分类任务直接集成到主题建模提高了主题质量,微调编码器表示的任何任务是促进跨语言迁移的最重要因素。
2021-04-11 cs.CL
Where Does Authorship Signal Emerge in Encoder-Based Language Models?
Inria Paris(巴黎国家信息与自动化研究所);Sorbonne Université(索邦大学);IRIF(IRIF研究所);LRE, EPITA Ecole nationale des chartes – PSL(LRE,EPITA国立档案馆 – 法国社会科学研究院)
通过机械可解释性工具,研究不同评分机制对基于编码器的作者身份归因模型性能的影响,发现评分机制决定了编码器在何处整合作者身份信号。
2026-05-25 cs.CL
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University(斯泰伦博斯大学)
我们调查的无监督模型,可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中,这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督,如单词或音素边界。在这里,我们提出了编码器-解码器对应自动编码器(EncDec-CAE),它不是真正的单词段,而是使用自动发现的段:一个无监督的术语发现系统发现相同的未知类型的单词对,并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器(AE),具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University(东京都立大学)
神经机器翻译(NMT)最近在机器翻译领域变得流行。然而,NMT在翻译中存在着重词或漏词的问题。为了解决这个问题,Tu et al.(2017)提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中,他们以与Bahdanau等人(2015)相同的方式选择了最佳的前向翻译模型,然后训练了一个双向翻译模型作为微调。他们的实验表明,它提供了显着提高BLEU分数在汉英翻译任务。我们证实,我们的重新实施也表现出同样的趋势,并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外,我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
Semantically-Aligned Equation Generation for Solving and Reasoning Math Word Problems
National Taiwan University(国立台湾大学)
解决数学应用题是一项具有挑战性的任务,需要准确的自然语言理解来连接自然语言文本和数学表达式。基于人类对数学应用题文本生成公式的直觉,提出了一种基于文本语义的符号操作神经网络方法,用于数学应用题的自动求解.本文将方程的生成过程视为语义世界和符号世界之间的桥梁,提出的神经数学求解器基于编码器-解码器框架。在该模型中,编码器被设计为理解问题的语义,而解码器则专注于跟踪生成的符号的语义,然后决定下一步生成哪个符号。初步的实验是在一个数据集Math 23 K,我们的模型显着优于国家的最先进的单一模型和最好的非检索为基础的模型超过约10%的准确性,证明了有效的桥梁符号和语义世界的数学单词问题。
2019-06-09 cs.CL
Learning to Start for Sequence to Sequence Architecture
Harbin Institute of Technology(哈尔滨工业大学);Tencent Corporation(腾讯公司)
序列到序列架构被广泛用于响应生成和神经机器翻译中,以对两个句子之间的潜在关系建模。它通常由两部分组成:一个从源句子中读取的编码器和一个根据编码器的输出和最后生成的单词逐词生成目标句子的解码器。然而,它面临的冷启动问题时,产生的第一个词,因为没有前面的词参考。现有的工作主要是使用一个特殊的开始符号</s>来产生第一个词。这些工作的一个明显缺点是,单词和开始符号之间没有可学习的关系。此外,当第一个字不正确地生成时,可能导致解码的错误累积。在本文中,我们提出了一种新的方法来学习生成序列到序列架构中的第一个字,而不是使用开始符号。在短文本会话的响应生成任务上的实验结果表明,该方法在自动和人工评估方面都优于现有的方法。
2016-08-19 cs.CL
Cross-Lingual Word Alignment for ASEAN Languages with Contrastive Learning
College of Computer and Software Engineering, Hohai University(河海大学计算机与软件学院)
针对低资源东盟语言词对齐,本文在基于 BiLSTM 的编码器-解码器框架中引入对比学习与多视角负采样,显式建模词嵌入差异,并在四个语种、五个数据集上验证其持续提升对齐准确率。
2024-07-06 cs.CL
Efficient Summarization with Read-Again and Copy Mechanism
Tsinghua University(清华大学);University of Toronto(多伦多大学)
编码器-解码器模型已被广泛用于解决序列到序列预测任务。然而,目前的方法有两个缺点。首先,编码器计算每个单词的表示,只考虑到到目前为止已经读取的单词的历史,产生次优表示。第二,当前的解码器利用大的词汇表,以便最小化未知词的问题,导致解码时间慢。在本文中,我们解决这两个缺点。为了实现这个目标,我们首先引入一个简单的机制,在提交每个单词的表示之前,首先读取输入序列。此外,我们提出了一个简单的复制机制,能够利用非常小的词汇表和处理词汇表外的话。我们证明了我们的方法在Gigaword数据集和DUC竞争中的有效性,优于最先进的技术。
2016-11-10 cs.CL
A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder
Fudan University(复旦大学)
多准则汉语分词(MCCWS)的目的是利用多个异质的分词准则之间的关系,进一步提高单个准则的性能。以往的研究通常将MCCWS视为不同的任务,在多任务学习框架下一起学习。在本文中,我们提出了一个简洁而有效的统一模型MCCWS,这是完全共享的所有标准。该模型利用Transformer编码器的强大功能,根据一个唯一的表示输出标准的标准标记进行中文文本切分。此外,本文提出的统一模型可以同时分割简体和繁体中文,并具有良好的传输能力。在8个不同标准的数据集上的实验表明,我们的模型优于我们的单标准基线模型和其他多标准模型。本文的源代码可以在Github https://github.com/acphile/MCCWS上找到。
2020-10-05 cs.AI cs.CL
Neural Machine Translation with Characters and Hierarchical Encoding
Technical University of Denmark (DTU)(丹麦技术大学);University of Copenhagen(哥本哈根大学)
大多数现有的神经机器翻译模型使用字符组或整个单词作为其输入和输出单元。我们提出了一个模型与分层的char2word编码器,需要单独的字符作为输入和输出。我们首先认为,这种分层表示的字符编码器降低了计算复杂性,并表明,它提高了翻译性能。其次,通过定性研究来自解码器的注意力图,我们发现该模型学习将常见单词压缩到单个嵌入中,而罕见单词(如名称和地点)则逐个字符表示。
2016-10-20 cs.CL
Toward Interpretability of Dual-Encoder Models for Dialogue Response Suggestions
Duke University(杜克大学);University of Washington(华盛顿大学);Google Research(谷歌研究院)
这项工作显示了如何改进和解释常用的双编码器模型的对话中的响应建议。我们提出了一个专注的双编码器模型,其中包括一个注意力机制上提取的词级特征,从两个编码器,一个上下文和标签分别。为了提高双编码器模型的可解释性,我们设计了一种新的正则化损失,以最大限度地减少不重要的单词和所需的标签之间的互信息,除了原来的注意力方法,使重要的单词被强调,而不重要的单词被去强调。这不仅有助于模型的可解释性,还可以进一步提高模型的准确性。我们提出了一种近似方法,使用神经网络来计算的互信息。此外,通过在原始词嵌入和最终编码的上下文特征之间添加残余层,在模型的最终预测处保留了词级可解释性。我们比较了两个公共数据集(Persona和Ubuntu)的对话响应任务的现有方法与所提出的模型。实验结果表明,该模型具有更好的Recall@1准确率和可视化可解释性。
2020-03-02 cs.CL cs.LG stat.ML
The Curious Case of Visual Grounding: Different Effects for Speech- and Text-based Language Encoders
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
本文研究视觉接地对语音和文本语言编码器内部表示的影响,发现其能提升口语与书面语表示对齐但主要增强词身份编码,且未能改善语音表示的语义可辨别性,为丰富语音模型的视觉语义方法提供启示。
2025-09-19 cs.CL
From the New World of Word Embeddings: A Comparative Study of Small-World Lexico-Semantic Networks in LLMs
School of Humanities, Tsinghua University(清华大学人文学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本研究构建不同参数规模LLMs输入嵌入的词汇语义网络,发现其具有小世界特性,且更大规模LLMs的网络更复杂、小世界效应更弱,还通过多类分析验证了方法有效性。
2025-05-19 cs.CL
Multilingual Contextual Adapters To Improve Custom Word Recognition In Low-resource Languages
AWS AI Labs(亚马逊云科技人工智能实验室)
针对低资源语言自定义词识别问题,提出监督损失与多语言策略改进Contextual Adapters训练,实现48%的F1提升并降低基础CTC模型5-11%的WER。
2023-07-03 cs.CL cs.SD eess.AS
Training ELECTRA Augmented with Multi-word Selection
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
预训练的文本编码器,如BERT及其变体,最近在许多NLP任务上取得了最先进的性能。虽然有效,但这些预训练方法通常需要大量的计算资源。为了加速预训练,ELECTRA训练了一个预测器,该预测器预测每个输入令牌是否被生成器替换。然而,这个新的任务,作为一个二元分类,是语义信息较少。在这项研究中,我们提出了一种新的文本编码器预训练方法,改进了基于多任务学习的ELECTRA。具体来说,我们训练的搜索引擎,同时检测替换令牌和选择原始令牌从候选集。我们进一步开发了两种技术来有效地结合所有预训练任务:(1)针对特定任务的头部使用基于注意力的网络,以及(2)共享生成器和训练器的底层。在GLUE和SQuAD数据集上的大量实验证明了该方法的有效性和效率。
2022-03-03 cs.CL