首页/论文/2202.01145

arXiv 2202.011452022-02-02cs.CL

相对位置预测作为文本编码器的预训练

Relative Position Prediction as Pre-training for Text Encoders

MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）

Rickard Brüel-Gabrielsson, Chris Scarvelis

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

意义是由它所拥有的公司来定义的。然而，公司是双重的：它基于令牌的身份以及它们的位置（拓扑）。我们认为，一个位置为中心的角度是更普遍和有用的。NLP中经典的MLM和CLM目标很容易被表述为对整个词汇的位置预测。在NLP中采用相对位置编码范式来创建自监督学习的相对标签，我们试图通过下游任务的表现来显示优越的预训练。

英文摘要：

Meaning is defined by the company it keeps. However, company is two-fold: It's based on the identity of tokens and also on their position (topology). We argue that a position-centric perspective is more general and useful. The classic MLM and CLM objectives in NLP are easily phrased as position predictions over the whole vocabulary. Adapting the relative position encoding paradigm in NLP to create relative labels for self-supervised learning, we seek to show superior pre-training judged by performance on downstream tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于相对位置编码的位置感知自注意槽填充算法

Position-aware Self-attention with Relative Positional Encodings for Slot Filling

Center for Information and Language Processing（信息与语言处理中心）；Ludwig Maximilian University of Munich（慕尼黑大学）

本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层，考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现，该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力（不使用递归层或卷积层），同时提高了w.r.t.以前的艺术状态。

2018-07-09cs.AIcs.CLcs.LG

面向语言模型的带增强位置嵌入的高效Transformer

Efficient transformer with reinforced position embedding for language models

University of Connecticut（康涅狄格大学）

本研究提出带增强位置嵌入的高效Transformer，通过拼接位置编码与可训练嵌入、归一化嵌入矩阵列等设计，在参数量约减三分之二的情况下，于葡英翻译及14个TensorFlow翻译数据集上实现更优的损失表现与训练效率。

2024-10-07cs.CL

MD-ProTector：为大语言模型生成文本检测定位多个数据驱动原型

MD-ProTector: Positioning Multiple Data-Driven Prototypes for LLM-Generated Text Detection

Seoul National University（首尔大学）

该研究针对LLM生成文本检测的类别内部差异问题，提出MD-ProTector模型，通过原型定位损失优化，在多基准测试中取得优于同类编码器方法的检测性能。

2026-11-05cs.AIcs.CL

基于T-E-GRU的中文评论文本情感分析

Transformer-Encoder-GRU (T-E-GRU) for Chinese Sentiment Analysis on Chinese Comment Text

Northwest University（西北大学）

中文情感分析由于其复杂性和不确定性一直是自然语言处理的挑战之一。Transformer在捕获语义特征方面取得了成功，但它使用位置编码来捕获序列特征，与递归模型相比有很大的缺点。本文将Transformer编码器和GRU相结合，提出了一种用于中文情感分析的T-E-GRU。我们在三个中文评论数据集上进行了实验。针对中文评论文本中标点符号混乱的现象，我们选择性地保留了部分具有断句能力的标点符号。实验结果表明，T-E-GRU的性能优于经典递归模型和带注意的递归模型。

2021-08-01cs.AIcs.CL

论方向性在结构泛化中的作用

On the Role of Directionality in Structural Generalization

通过将符号后端改为CCG有向类型，系统在SLOG的方向性类别上显著超越AM-Parser，而AM-Parser在递归深度类别上更优，表明方向性表示将瓶颈从符号层转移到神经层。

2026-08-18cs.CLcs.LG

TiME：用于高效NLP流水线的微型单语编码器

TiME: Tiny Monolingual Encoders for Efficient NLP Pipelines

EPFL（瑞士联邦理工学院）

TiME通过蒸馏技术训练小型单语模型，提升NLP流水线的效率与性能平衡。

2025-12-16cs.CLcs.LG

更多相关论文收起更多论文

基于相对位置的知识图谱文本生成图结构建模

Modeling Graph Structure via Relative Position for Text Generation from Knowledge Graphs

Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学语言与信息处理中心）；Research Training Group AIPHES and UKP Lab, Technische Universität Darmstadt（达姆施塔特工业大学）

我们提出了Gramformer，一种新的基于transformer的编码器-解码器架构，用于图形到文本的生成。通过我们新颖的图自注意，节点的编码依赖于输入图中的所有节点-而不仅仅是直接邻居-促进全局模式的检测。我们将两个节点之间的关系表示为它们之间的最短路径的长度。Gramformer学习为不同的注意力头不同地加权这些节点-节点关系，从而虚拟地学习输入图的不同连接视图。我们在两个流行的图形到文本生成基准，AGENDA和WebNLG，它实现了强大的性能，同时使用比其他方法少得多的参数上评估Gramformer。

2021-04-27cs.CL

基于结构相对位置引导的Transformer Source Code汇总

Source Code Summarization with Structural Relative Position Guided Transformer

Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）

源代码摘要旨在为程序设计语言生成简洁明了的自然语言描述。编写良好的代码摘要有利于程序员参与软件开发和维护过程。为了学习源代码的语义表示，最近的努力集中在将代码的语法结构合并到神经网络（如Transformer）中。这种基于变换器的方法可以比包括递归神经网络（RNN）的其他神经网络更好地捕获长程依赖性，然而，它们中的大多数没有考虑令牌之间的结构相对相关性，例如，抽象树（AST）中的相对位置，这有利于代码语义学习。为了对结构依赖性进行建模，我们提出了一种结构相对位置引导的Transformer，命名为STRT。该算法首先通过解析源代码的AST来获得标记之间的结构相对位置，然后将其传递给两种类型的Transformer编码器。一个Transformer根据结构相对距离直接调整输入，另一个Transformer在计算自我注意分数时对结构相对位置进行编码。最后，我们堆叠这两种类型的Transformer编码器来学习源代码的表示。实验结果表明，该方法在BLEU、ROUGE-L和METEOR三种测试数据集上的性能分别比现有方法提高了1.6%、1.4%和2.8%。我们进一步表明，如何建议的CRAFT捕获的结构相对依赖关系。

2022-02-14cs.CLcs.SE

SeqDiffuSeq：基于编码器-解码器 Transformers 的文本扩散

SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers

Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）

本文提出 SeqDiffuSeq，一种基于编码器-解码器 Transformers 的文本扩散模型，结合自条件与自适应噪声调度技术，有效提升了序列到序列文本生成的质量与推理效率。

2023-05-22cs.CL

基于预训练语言模型的可扩展推理通用文本嵌入

General Purpose Text Embeddings from Pre-trained Language Models for Scalable Inference

Facebook AI（Facebook人工智能研究院）

目前，许多NLP任务的最新技术是通过大型预训练语言模型实现的，这需要大量的计算。我们探索一种设置，其中许多不同的预测是在一个单一的文本。在这种情况下，推理过程中的一些计算成本可以使用共享的文本编码器分摊到不同的任务中。我们比较了训练这种编码器的方法，并表明在多个任务上预训练的编码器可以很好地推广到看不见的任务。我们还比较了从该编码器中提取固定和有限大小表示的方法，包括从多个层或位置提取的池化特征的不同方法。我们最好的方法相比，有利的知识蒸馏，实现更高的准确性和更低的计算成本，一旦系统是处理约7个任务。此外，我们表明，通过二进制量化，我们可以减少提取的表示的大小的一个因素16，使其可行的存储供以后使用。由此产生的方法提供了一个令人信服的解决方案，当在同一文本上执行多个任务时，使用大规模预训练模型的计算成本只有一小部分。

2020-04-29cs.CL

面向高效基于BERT的命名实体识别的位置注意力机制

Positional Attention for Efficient BERT-Based Named Entity Recognition

Georgia Institute of Technology（佐治亚理工学院）

本文提出在BERT命名实体识别中引入位置注意力机制，利用预训练参数进行高效定制，在Kaggle数据集上以更少训练轮数保持高准确率并降低训练成本。

2025-05-03cs.CL

Clinical ModernBERT：一种面向生物医学文本的高效长上下文编码器

Clinical ModernBERT: An efficient and long context encoder for biomedical text

研究推出Clinical ModernBERT编码器，通过整合大规模生物医学与临床数据及ModernBERT架构升级，专为长上下文临床NLP任务生成语义丰富的表示并经基准验证有效。

2025-04-04cs.AIcs.CLcs.LG

Shatter：一种高效的单头自注意相对序列分割Transformer编码器

Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning

Google Research Language（谷歌研究院语言部门）

基于自我注意力的高度流行的Transformer架构是大型预训练模型（如BERT）的基础，这些模型已成为NLP中持久的范式。虽然功能强大，但预训练此类模型所需的计算资源和时间可能令人望而却步。在这项工作中，我们提出了一种替代的自我注意力架构，破碎，更有效地编码序列信息，通过软分区的相对位置的空间和应用不同的值矩阵的序列的不同部分。这种机制进一步允许我们将Transformer中的多头注意简化为单头注意。我们进行了大量的实验，表明Shatter比BERT实现了更好的性能，预训练每步更快（TPU上为15%），收敛步骤更少，并节省了大量内存（>50%）。总之，Shatter可以在7天内在8个V100 GPU上进行预训练，并与BERT_Base的性能相匹配-使预训练的成本更加实惠。

2021-08-30cs.CLcs.LG

DialogueBERT：一种基于自监督学习的对话预训练编码器

DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder

JD AI（京东人工智能）；Xiaoduo AI（晓多人工智能）

随着人工智能的快速发展，会话机器人已经在主流电子商务平台中盛行，它可以及时提供便捷的客户服务。为了满足用户，会话机器人需要理解用户的意图，检测用户的情感，并从会话语句中提取关键实体。然而，理解对话被认为是一项非常具有挑战性的任务。与一般的语言理解不同，对话中的话语是从不同的角色交替出现的，并且通常被组织成层次结构。为了促进对话的理解，在本文中，我们提出了一种新的上下文对话编码器（即对话BERT）的基础上流行的预训练的语言模型BERT。设计了五个自监督学习预训练任务来学习会话话语的特殊性。四种不同的输入嵌入，包括话轮嵌入，角色嵌入，标记嵌入和位置嵌入的集成来捕捉话语之间的关系。DialogueBERT在真实场景中预先训练了7000万个对话，然后在三个不同的下游对话理解任务中进行了微调。实验结果表明，DialogueBERT在意图识别、情感识别和命名实体识别方面分别取得了88.63%、94.25%和97.04%F1的优异成绩，大大优于几个强基线。

2021-09-22cs.AIcs.CL

NAG：一种用于语言模型中无编码文本图建模的统一原生架构

NAG: A Unified Native Architecture for Encoder-free Text-Graph Modeling in Language Models

New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences, Beijing, China；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS), Beijing, China；School of Advanced Interdisciplinary Sciences, UCAS, Beijing, China

NAG提出一种统一的原生架构，将图处理内化于语言模型，通过自注意力机制和位置ID校准实现结构依赖和等价性，提升文本图建模的连贯性和效率。

2026-01-30cs.AIcs.CL

FastRE：基于卷积编码器和改进的级联二进制标记框架的快速关系抽取

FastRE: Towards Fast Relation Extraction with Convolutional Encoder and Improved Cascade Binary Tagging Framework

Southeast University（东南大学）；Tencent Inc.（腾讯公司）

最近从文本中提取关系的工作取得了优异的性能。然而，大多数现有的方法不太关注效率，使得它仍然具有挑战性，快速提取关系，从海量或流文本数据在现实的场景。主要的效率瓶颈是这些方法使用基于transformer的预训练语言模型进行编码，这严重影响了训练速度和推理速度。为了解决这个问题，我们提出了一个快速关系抽取模型（FastRE）基于卷积编码器和改进的级联二进制标记框架。与以前的工作相比，FastRE采用了几项创新，以提高效率，同时保持有前途的性能。具体而言，FastRE采用了一种新颖的卷积编码器结构，结合了扩展卷积、门控单元和残差连接，在保持令人满意的性能的同时，显著降低了训练和推理的计算开销。此外，为了改进级联二进制标记框架，FastRE首先引入了类型-关系映射机制来提高标记效率和减少关系冗余，然后利用位置相关的自适应阈值策略来获得更高的标记准确率和更好的模型泛化能力。实验结果表明，FastRE在效率和性能之间取得了很好的平衡，与最先进的模型相比，训练速度提高了3- 10倍，推理速度提高了7- 15倍，参数减少了1/100，而性能仍然具有竞争力。

2022-05-22cs.AIcs.CLcs.LG

Moonshine：用于实时转录和语音命令的语音识别

Moonshine: Speech Recognition for Live Transcription and Voice Commands

Useful Sensors（实用传感器公司）

本文提出 Moonshine 语音识别模型系列，采用编码器-解码器 Transformer 和 RoPE，并通过无零填充训练提升推理效率，在保持词错误率不变的情况下将 10 秒语音转录计算量降低 5 倍，适用于实时和资源受限场景。

2024-10-22cs.CLcs.LGcs.SD