Improved Biomedical Word Embeddings in the Transformer Era
University of Kentucky(肯塔基大学)
生物医学词嵌入通常是在自由文本语料库上预先训练的,神经方法可以捕获局部和全局分布特性。它们在下游任务中被利用,使用各种神经架构,旨在优化可能进一步调整此类嵌入的特定任务目标。然而,自2018年以来,从这些静态嵌入到由语言模型驱动的上下文嵌入(例如,ELMo、诸如BERT和ULMFiT的Transformers)。这些动态嵌入还有一个额外的好处,即能够根据上下文区分同音异义词和首字母缩略词。然而,静态嵌入在低资源设置(例如,智能设备,物联网元素),并从计算语言学的角度研究词汇语义。在本文中,我们共同学习单词和概念嵌入,首先使用跳过语法方法,并进一步微调它们与相关信息,体现在共同出现的医学主题标题(MeSH)的概念,在生物医学引文。这种微调是在两句输入模式下使用BERT Transformer架构完成的,其分类目标是捕获MeSH对共现。从本质上讲,我们重新设计了一个Transformer架构(通常用于生成动态嵌入),以使用概念相关性来改进静态嵌入。我们使用多个数据集对这些调整后的静态嵌入进行评估,这些数据集是由以前的努力开发的。在没有选择性地剔除概念和术语的情况下(正如以前的工作所追求的那样),我们相信我们提供了迄今为止最详尽的静态嵌入评估,并全面提高了性能。我们为下游应用和研究工作提供公开使用的代码和嵌入:https://github.com/bionlproc/BERT-CRel-…
2021-07-23 cs.CL
How to Dissect a Muppet: The Structure of Transformer Embedding Spaces
University of Helsinki(赫尔辛基大学);Utrecht University(乌得勒支大学);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);ATILF
基于Transformer架构的预训练嵌入已经在NLP社区掀起了风暴。我们表明,它们可以在数学上被重构为矢量因子的总和,并展示如何使用这种重构来研究每个组件的影响。我们提供的证据表明,多头注意力和前馈在所有下游应用中并不同样有用,以及微调对整个嵌入空间的影响的定量概述。这种方法使我们能够与以前的广泛研究建立联系,从向量空间各向异性到注意力权重。
2022-06-07 cs.CL
Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification
Idiap Research Institute(伊迪亚普研究所);University of Geneva(日内瓦大学)
本研究通过定向稀疏化方法,探究了基于Transformer的句子嵌入中语言信息的分布情况,发现语法数和语义角色等信息并非均匀分布,而是集中在特定区域,有助于理解和构建可解释的神经模型。
2024-07-25 cs.CL
Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings
UCL(伦敦大学学院)
基于Transformer架构的模型,如BERT,标志着自然语言处理领域向前迈出了关键的一步。重要的是,它们允许创建词嵌入,这些词嵌入在上下文中捕获关于词的重要语义信息。然而,作为单个实体,这些嵌入很难解释,并且用于创建它们的模型被描述为不透明的。Binder及其同事提出了一个直观的嵌入空间,其中每个维度都基于65个核心语义特征之一。不幸的是,空间只存在于535个单词的小数据集,限制了它的使用。以前的工作(Utsumi,2018年,2020年,Turton,Vinson & Smith,2020年)表明,Binder功能可以从静态嵌入中导出,并成功地外推到一个大型的新词汇表。下一步,本文证明了Binder特征可以从BERT嵌入空间中导出。这提供了上下文化的绑定器嵌入,这可以帮助理解上下文中单词之间的语义差异。它还提供了如何在BERT模型的不同层中表示语义特征的见解。
2020-12-30 cs.CL
Statistical Depth for Ranking and Characterizing Transformer-Based Text Embeddings
Dartmouth College(达特茅斯学院)
本文提出基于Transformer的文本嵌入(TTE)统计深度,用于排序文本中心性并衡量分布,通过秩和检验比较语料库,在上下文学习提示选择任务中提升性能,并揭示了合成数据增强引起的分布偏移。
2023-10-23 cs.CL
Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings
University of Geneva(日内瓦大学)
本研究针对Transformer句子嵌入中语言信号分布式混杂的问题,采用带离散+连续组件的类变分自编码器潜层压缩嵌入,实现了主谓一致、动词交替等语言信号的更清晰分离,推动嵌入向符号化表征关联发展。
2023-12-18 cs.CL
Why bother with geometry? On the relevance of linear decompositions of Transformer embeddings
University of Helsinki(赫尔辛基大学)
本文研究Transformer嵌入线性分解的经验意义,发现分解指标与模型性能相关,但几何反映模型特性而非句子计算,且训练条件相似不保证向量空间相似。
2023-10-10 cs.CL
E2EET: From Pipeline to End-to-end Entity Typing via Transformer-Based Embeddings
The University of Western Australia(西澳大学)
实体分类(Entity Typing,ET)是识别语料库中每个实体的语义类型的过程。与命名实体识别不同,句子中的每个标记都标有零个或一个类标签,ET涉及用一个或多个类标签标记每个实体。现有的实体分类模型,在提到的水平,是有限的,由两个关键因素:他们不使用最近提出的上下文相关的嵌入,并在固定的上下文窗口上训练。因此,它们对窗口大小的选择很敏感,并且无法包含整个文档的上下文。鉴于这些缺点,我们建议将上下文使用基于transformer的嵌入用于提及级模型,以及使用Bi-GRU的端到端模型来消除对窗口大小的依赖。一项广泛的消融研究表明,上下文嵌入的有效性,提及级模型和竞争力,我们的端到端模型的实体类型。
2020-03-23 cs.CL
Efficient transformer with reinforced position embedding for language models
University of Connecticut(康涅狄格大学)
本研究提出带增强位置嵌入的高效Transformer,通过拼接位置编码与可训练嵌入、归一化嵌入矩阵列等设计,在参数量约减三分之二的情况下,于葡英翻译及14个TensorFlow翻译数据集上实现更优的损失表现与训练效率。
2024-10-07 cs.CL
Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文通过感受野分析剖析ALiBi,并基于此提出首个无参数相对位置编码Sandwich,与KERPLE和T5共享对数衰减偏置模式,为未来位置编码设计提供启示。
2023-05-23 cs.CL
Dynamic Position Encoding for Transformers
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Amazon(亚马逊)
在过去的几年里,递归模型一直主导着神经机器翻译(NMT)领域。Transformers \citep{vaswani2017attention}通过提出一种依赖于前馈骨干和自注意力机制的新颖体系结构,从根本上改变了它。虽然Transformers功能强大,但由于其非循环特性,它们可能无法正确编码顺序/位置信息。为了解决这个问题,位置嵌入被专门定义为每个时间步,以丰富单词信息。然而,这样的嵌入在训练之后是固定的,而不管源或目标语言的任务和单词排序系统如何。在本文中,我们提出了一种新的架构,新的位置嵌入取决于输入文本,以解决这个缺点,考虑到目标词的顺序。我们的解决方案没有使用预定义的位置嵌入,而是生成新的嵌入来细化每个单词的位置信息。由于我们不指定源标记的位置并以端到端的方式学习它们,因此我们将我们的方法称为动态位置编码(DPE)。我们评估了我们的模型对多个数据集的影响,从英语翻译成德语,法语和意大利语,并观察到与原始Transformer相比有意义的改进。
2022-10-22 cs.CL
TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning
Technical University of Darmstadt(达姆施塔特工业大学)
学习句子嵌入通常需要大量的标记数据。然而,对于大多数任务和域,标记数据很少可用,并且创建它是昂贵的。在这项工作中,我们提出了一种新的国家的最先进的无监督方法的基础上预先训练的Transformers和顺序去噪自动编码器(TSDAE),它优于以前的方法高达6.4点。它可以实现高达93.1%的域内监督方法的性能。此外,我们表明,TSDAE是一个强大的领域自适应和预训练方法的句子嵌入,显着优于其他方法,如掩蔽语言模型。以往研究的一个重要缺点是评估范围狭窄:大多数工作主要评估语义文本相似性(STS)的单一任务,这不需要任何领域知识。目前还不清楚这些方法是否适用于其他领域和任务。我们填补了这一空白,并评估TSDAE和其他最近的方法对四个不同的数据集从异构域。
2021-09-10 cs.CL
On Initializing Transformers with Pre-trained Embeddings
State University of New York, Korea(韩国纽约州立大学);Stony Brook University(石溪大学)
本研究探讨用预训练嵌入初始化Transformer的效果,发现GloVe、T5和mT5嵌入因分布过宽而劣于随机初始化,标准化后可显著提升,而BERT嵌入因接近Xavier范围表现更好。
2024-07-17 cs.CL
P-Transformer: Towards Better Document-to-Document Neural Machine Translation
Northwest Minzu University(西北民族大学);Soochow University(苏州大学);Huawei Translation Services Center(华为翻译服务中心)
通过Transformer从头开始直接训练文档到文档(Doc 2Doc)神经机器翻译(NMT),特别是在小数据集上,通常无法收敛。我们专门的探测任务表明:1)绝对位置和相对位置信息一旦到达编码器上层就会逐渐减弱甚至消失,2)编码器输出中绝对位置信息的消失导致Doc 2Doc NMT的训练失败。为了缓解这个问题,我们提出了一个位置感知的Transformer(P-Transformer),以提高绝对和相对位置信息的自我注意和交叉注意。具体地,我们整合绝对位置信息,即,位置嵌入,通过一个简单而有效的加法运算,在自注意和交叉注意中的查询键对中。此外,我们还整合了自我注意中的相对位置编码。所提出的P-变压器利用正弦位置编码,不需要任何任务指定的位置嵌入,段嵌入,或注意力机制。通过上述方法,我们使用P-Transformer构建了一个Doc 2Doc NMT模型,该模型以序列到序列(seq 2seq)的方式摄取源文档并完整地生成目标文档。此外,P-Transformer还可以应用于基于seq 2seq的文档到句子(Doc 2Sent)和句子到句子(Sent 2Sent)翻译。Doc 2Doc NMT的大量实验结果表明,P-Transformer在广泛使用的9个文档级数据集、7个语言对上的表现显著优于强基线,达到了新的水平。对话语现象的实验表明,我们的Doc 2Doc NMT模型在BLEU和话…
2022-12-12 cs.CL
BIG MOOD: Relating Transformers to Explicit Commonsense Knowledge
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
我们介绍了一种简单而有效的方法,集成上下文嵌入与常识图嵌入,被称为BERT注入图:匹配其他嵌入。首先,我们介绍了一种预处理方法,以提高查询知识库的速度。然后,我们开发了一种从每个知识库创建知识嵌入的方法。我们介绍了一种方法对齐两个未对齐的标记化方法之间的标记。最后,结合知识库嵌入,给出了一种BERT的上下文化方法。我们还显示BERT倾向于纠正准确性较低的问题类型。我们的模型实现了比BERT更高的准确率,我们在共享任务的官方排行榜上得分第五,在没有任何额外的语言模型预训练的情况下得分最高。
2019-10-17 cs.CL
Compressing Transformer-Based Semantic Parsing Models using Compositional Code Embeddings
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon Alexa(亚马逊 Alexa)
当前最先进的面向任务的语义解析模型使用BERT或RoBERTa作为预训练的编码器;这些模型具有巨大的内存占用。这对他们在内存预算有限的边缘设备上部署Amazon Alexa和Google Assistant等语音助手提出了挑战。我们建议学习组合代码嵌入,以大大减少BERT-base和RobERTa-base的大小。我们还将该技术应用于DistilBERT,ALBERT-基地,和ALBERT-大,三个已经压缩的BERT变种,达到类似的最先进的性能语义解析与小得多的模型大小。在保持97.5%以上语义解析性能的同时,嵌入压缩率为95.15% ~ 98.46%,编码压缩率为20.47% ~ 34.22%。我们提供了训练的配方,并分析了代码嵌入大小和下游性能之间的权衡。
2020-10-10 cs.CL
Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence
Monash University(莫纳什大学);Deakin University(迪肯大学)
本文提出了一个Transformer over Transformer框架,称为Transformer $^2$,执行神经文本分割。它由两部分组成:使用预先训练的Transformers的底层句子编码器,以及基于句子嵌入的基于转换器的上层分割模型。底层组件传输在单个和成对监督NLP任务下从大型外部语料库学习的预训练知识,以对文档的句子嵌入进行建模。给定句子嵌入,训练上层Transformer以恢复每个句子的分割边界以及主题标签。配备了多任务损失和预先训练的知识,Transformer $^2$可以更好地捕获相同段内的语义一致性。我们的实验表明:(1)Transformer $^2$在常用的语义一致性度量方面超越了最先进的文本分割模型;(2)在大多数情况下,单个和成对的预训练知识都有助于模型性能;(3)在特定语言上预训练的底层句子编码器比在特定领域上预训练的句子编码器产生更好的性能。
2021-10-14 cs.CL
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX(融合大脑实验室,AXXX);T-Tech;MSU(莫斯科大学);DS-NLP Group, AXXX(自然语言处理组,AXXX)
提出SONAR-LLM,一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer,融合语义抽象与似然训练信号,在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
TransDrift: Modeling Word-Embedding Drift using Transformer
Indian Institute of Technology Delhi(印度理工学院德里分校)
在现代NLP应用程序中,词嵌入是一个关键的骨干,可以很容易地在许多任务之间共享。然而,随着文本分布的变化和单词语义随着时间的推移而演变,如果单词表示不符合数据漂移,则使用嵌入的下游应用程序可能会受到影响。因此,保持词嵌入与底层数据分布一致是一个关键问题。在这项工作中,我们解决了这个问题,并提出TransDrift,一个基于变换的预测模型词嵌入。利用Transformer的灵活性,我们的模型准确地学习嵌入漂移的动态并预测未来的嵌入。在实验中,我们与现有的方法进行比较,并表明我们的模型比基线更准确地预测词嵌入。至关重要的是,通过将预测的嵌入作为下游分类任务的骨干,我们表明,与以前的方法相比,我们的嵌入具有更好的性能。
2022-06-16 cs.CL cs.LG
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
本文提出语义结构探测方法研究Transformer句子嵌入,发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
A Novel Spinor-Based Embedding Model for Transformers
MiraCosta College(米拉科斯塔学院)
本文提出将几何代数中的旋量用于Transformer词嵌入,以增强语言表示的表达能力和鲁棒性,并给出理论基础、集成方法及潜在优势与挑战的分析。
2024-09-26 cs.CL cs.LG
Transformer based Multilingual document Embedding model
The Hong Kong University of Science and Technology(香港科技大学)
当前最先进的多语言文档嵌入模型LASER之一是基于双向LSTM神经机器翻译模型。本文提出了一个基于transformer的句子/文档嵌入模型T-LASER,它做了三个显著的改进。首先,BiLSTM层被基于注意力的Transformer层取代,后者更能够在较长的文本中学习序列模式。其次,由于没有递归,T-LASER可以在编码器中实现更快的并行计算,以生成文本嵌入。第三,我们增加了一个新的距离约束损失的NMT翻译损失函数。这种距离约束的丢失将进一步使平行句子的嵌入在向量空间中靠近在一起;我们将使用距离约束训练的T-LASER模型称为cT-LASER。我们的cT-LASER模型显著优于基于BiLSTM的LASER和更简单的基于变压器的T-LASER。
2020-08-20 cs.CL cs.LG
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法,推导 RoPE 原理并对比不同方法特性,研究长上下文扩展方案,明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学);University of Toronto(多伦多大学)
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设,并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
Protoformer: Embedding Prototypes for Transformers
University of Central Florida(中佛罗里达大学)
Transformers在文本分类中有着广泛的应用。不幸的是,真实世界的数据包含异常和嘈杂的标签,这对最先进的Transformers造成了挑战。本文提出了Protoformer,一种新的自学习框架Transformers,可以利用有问题的样本进行文本分类。Protoformer具有嵌入样本的选择机制,使我们能够有效地提取和利用异常原型和困难的类原型。我们在具有不同文本结构的数据集上展示了这种能力(例如,Twitter,IMDB,ArXiv).我们还将该框架应用于几个模型。结果表明,Protoformer可以改善电流Transformers在各种经验设置。
2022-06-25 cs.CL cs.LG
Banach-Tarski Embeddings and Transformers
本文提出一种将递归数据结构嵌入高维向量的新方法,为transformer潜在状态提供可解释模型,支持直接在嵌入空间通过向量操作进行计算与解码。
2023-11-21 cs.CL cs.DS cs.LG
A Simple and Effective Positional Encoding for Transformers
Google Research(谷歌研究院)
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息,位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明,增益实际上来自于将位置信息从输入移动到注意层。受此启发,我们引入了Transformers的去耦位置注意力(DIET),这是一种简单而有效的机制,可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间,同时在GLUE,XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法,远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
Attention Alignment and Flexible Positional Embeddings Improve Transformer Length Extrapolation
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过温度缩放的注意力对齐策略,缓解T5模型因位置嵌入灵活性导致的注意力分散问题,从而无需微调即可提升其在长上下文任务中的外推能力。
2023-11-15 cs.CL cs.LG
Learning to Prioritize IT Tickets: A Comparative Evaluation of Embedding-based Approaches and Fine-Tuned Transformer Models
Global AI Lab(全球人工智能实验室)
本文比较了基于嵌入的方法和微调的Transformer模型在IT工单优先级排序中的性能,发现后者在F1分数和Cohen's kappa值上表现更优,凸显了定制化Transformer架构在处理ITSM数据中的有效性。
2025-11-28 cs.AI cs.CL
Improving Generalization of Transformer for Speech Recognition with Parallel Schedule Sampling and Relative Positional Embedding
Tsinghua University(清华大学);Sogou(搜狗);UCLA(加州大学洛杉矶分校)
Transformer最近在许多序列到序列转换任务中显示出了有希望的结果。它利用了一些前馈自注意层,以取代递归神经网络(RNN)在基于注意力的编码器解码器(AED)架构。自我注意层通过将符号的正弦位置嵌入序列中以进行并行计算来学习时间依赖性。在训练过程中,可以获得比RNN顺序运算更快的迭代速度。Transformer的更深层也使其性能优于基于RNN的AED。然而,这种并行化能力在应用预定的采样训练时丢失。正弦位置嵌入的自注意可能会导致在不同位置具有相似声学或语义信息的较长序列的性能下降。为了解决这些问题,我们建议使用并行调度采样(PSS)和相对位置嵌入(RPE),以帮助Transformer推广到看不见的数据。我们提出的方法实现了7%的相对改善短话语和70%的相对增益长话语的10,000小时的普通话ASR任务。
2020-11-30 cs.CL eess.AS
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University(台湾大学)
近年来,预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发,大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素,但经常被随意讨论。因此,本文对主流的预训练Transformers的职位嵌入进行了实证研究,主要关注两个问题:1)职位嵌入是否真的学习了职位的含义?2)这些不同的学习位置嵌入如何影响NLP任务的Transformers?本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验,为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作,选择合适的位置编码功能,为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
Jiangnan University(江南大学);University of Surrey(萨里大学)
近年来,中文命名实体识别(NER)中的词语增强技术已成为一个热门的研究方向,它可以减少分词错误,增加中文词语的语义和边界信息。然而,这些方法往往忽略了汉字的结构信息整合后的词汇信息。汉字自古以来就是由象形文字演变而来的,其结构往往反映了更多的文字信息。本文提出了一种新的基于多元数据嵌入的交叉转换器(MECT),通过融合汉字的结构信息来提高中文NER的性能。具体地说,我们使用多元数据嵌入在一个两个流的Transformer集成汉字特征与部首级嵌入。MECT结合了汉字的结构特点,能更好地捕捉汉字的语义信息,用于NER。在几个著名的基准测试数据集上的实验结果证明了该方法的优点和优越性。\footnote {所提出的方法的源代码可在https://github.com/CoderMusou/MECT4CNER公开获得。
2021-07-12 cs.AI cs.CL
Position Information in Transformers: An Overview
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学语言与信息处理中心(CIS))
Transformers可以说是最近自然语言处理研究中的主要主力。根据定义,Transformer相对于输入的重新排序是不变的。然而,语言本质上是连续的,词序对话语的语义和句法至关重要。在这篇文章中,我们提供了一个概述和理论比较现有的方法,将位置信息到Transformer模型。本调查的目的是(1)展示Transformer中的位置信息是一个充满活力和广泛的研究领域;(2)通过提供一个统一的符号和系统化的不同方法沿着重要的模型维度,使读者能够比较现有的方法;(3)指出在选择位置编码时应该考虑应用程序的哪些特征;(4)为今后的研究提供动力。
2021-09-09 cs.AI cs.CL
Exploring Swedish & English fastText Embeddings for NER with the Transformer
Luleå University of Technology(吕勒奥理工大学)
在本文中,我们的主要贡献是,嵌入相对较小的语料库可以优于从较大的语料库,我们使新的瑞典类比测试集公开。为了在自然语言处理(NLP)下游任务中实现良好的网络性能,有几个因素起着重要作用:数据集大小,正确的超参数和经过良好训练的嵌入。我们表明,通过正确的超参数集,即使在较小的数据集上也可以达到良好的网络性能。我们评估嵌入在内在和外在的水平。在命名实体识别(NER)任务中,使用Transformer部署嵌入,并进行显著性测试。瑞典语和英语都是如此。与最近发布的Common Crawl版本相比,我们在两种语言的下游任务中使用较小的训练数据获得了更好的性能;字符n-gram对于瑞典语(一种形态丰富的语言)似乎很有用。
2021-04-17 cs.CL cs.LG
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院)
本研究证明冻结的视觉Unicode嵌入可替代可训练词嵌入,Transformer模型在MMLU上表现更优,表明语义是架构与数据涌现的结果。
2025-10-15 cs.AI cs.CL
A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
我们提出了一个VAE的Transformers通过开发一个变信息瓶颈正则化Transformer嵌入。我们正式的嵌入空间的Transformer编码器的混合概率分布,并使用贝叶斯nonparametrics推导出一个非参数的变分信息瓶颈(NVIB),这样的注意力为基础的嵌入。由非参数方法支持的混合成分的可变数量捕获了由注意力支持的向量的可变数量,并且我们的非参数分布的互换性捕获了注意力的排列不变性。这使得NVIB能够规范注意力可访问的向量数量,以及单个向量中的信息量。通过对Transformer编解码器与NVIB的交叉注意进行正则化,提出了一种非参数变分自编码器(NVAE)。在自然语言文本上训练NVAE的初步实验表明,诱导的嵌入空间具有用于Transformers的VAE的期望属性。
2022-08-12 cs.CL cs.LG
Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms
University of Colorado Colorado Springs (UCCS)(科罗拉多大学科罗拉多斯普林斯分校);Instituto Politécnico Nacional (IPN)(国家理工学院)
本文提出一种语义驱动的端到端主题建模方法,利用Transformer嵌入、降维和聚类算法提取连贯主题,并在主题质量上优于ChatGPT及传统主题建模算法。
2024-09-30 cs.AI cs.CL
Spherical Position Encoding for Transformers
Datategy SAS(Datategy SAS公司)
针对地理词元场景下序列位置不重要、需体现地理坐标相对关系的需求,提出基于适配球面坐标的RoPE架构的球面位置编码机制,可保持物理距离与嵌入空间距离的比例。
2023-10-04 cs.AI cs.CL
Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors
Facebook AI Research(脸书人工智能研究院);Berkeley AI Research (BAIR), UC Berkeley(加州大学伯克利分校伯克利人工智能研究院(BAIR));New York University(纽约大学);Redwood Center for Theoretical Neuroscience, UC Berkeley(加州大学伯克利分校雷德伍德理论神经科学中心)
本文提出利用字典学习将Transformer的上下文嵌入表示为Transformer因子的线性叠加,通过可视化揭示其捕获的层次语义结构(如词级多义消歧、句级模式形成和长距离依赖),为理解Transformer网络内部机制提供了新见解。
2023-04-04 cs.CL cs.LG
TransXSSM: A Hybrid Transformer State Space Model with Unified Rotary Position Embedding
HKUST (Guangzhou)(香港科技大学(广州))
针对Transformer与SSM混合模型中位置编码不兼容的问题,提出统一旋转位置嵌入方法,构建TransXSSM混合架构,在速度、准确率和扩展性上均优于基线模型。
2025-06-18 cs.AI cs.CL
Non-autoregressive Transformer by Position Learning
Nanjing University(南京大学);ByteDance AI Lab(字节跳动人工智能实验室)
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而,位置建模是非自回归文本生成中的一个基本问题。在这项研究中,我们提出PNAT,它将位置作为一个潜在的变量到文本生成过程。实验结果表明,PNAT在机器翻译和释义生成任务上取得了最好的结果,优于几个强基线。
2019-11-25 cs.CL cs.LG
Probabilistic Topic Modelling with Transformer Representations
Institute of Mathematics, Clausthal University of Technology(克劳斯塔尔工业大学数学研究所);BASF(巴斯夫公司);Georg-August-Universität Göttingen(哥廷根大学)
本研究提出Transformer表示神经主题模型TNTM,结合Transformer嵌入空间主题表示与概率建模优势,用VAE框架提升性能,在嵌入连贯性上比肩SOTA且主题多样性近乎完美。
2024-03-06 cs.CL cs.LG
Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对Transformer在低复杂度数据上过拟合的问题,提出SQ-Transformer,通过结构化量化嵌入和系统性注意力层,在低复杂度数据集上实现更强的组合泛化能力。
2024-02-09 cs.AI cs.CL cs.LG
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA(美国独立研究者);Independent Researcher, Japan(日本独立研究者)
本文通过评估预训练变换器嵌入在欺骗分类中的效果,发现BERT结合逻辑回归在LIAR数据集上表现最佳,证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
Multiplicative Position-aware Transformer Models for Language Understanding
AWS AI(亚马逊网络服务人工智能研究院)
Transformer模型利用了自注意力等架构改进,在自然语言处理(NLP)任务上表现非常出色。自我注意力机制是位置不可知的。为了捕获位置排序信息,已经提出了各种风格的绝对和相对位置嵌入。然而,没有系统的分析,这些方法的贡献和全面的比较是在文献中失踪。在本文中,我们回顾了现有的主要位置嵌入方法,并使用我们自己的实现比较了它们在下游NLP任务上的准确性。我们还提出了一种新的乘法嵌入方法,导致优越的精度相比,现有的方法。最后,我们证明了我们提出的嵌入方法,作为默认绝对位置嵌入的直接替代,可以改进SQuAD1.1和SQuAD2.0数据集上的RoBERTa-base和RoBERTa-large模型。
2021-09-27 cs.AI cs.CL
CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding
Singapore University of Technology and Design(新加坡科技设计大学);ProQod Singapore(新加坡ProQod公司)
对自然灾害、恐怖袭击和流行病等危机事件进行分类,是一项至关重要的任务,可以及早发出信号,并通知有关各方采取自发行动,以减少总体损失。尽管自然灾害等危机可以由专业机构预测,但某些事件首先由平民发出信号,例如最近的COVID-19大流行病。Twitter等社交媒体平台经常通过每天发布的超过5亿条推文的大量信息交流来披露有关此类危机的第一手信号。先前的工作提出了各种危机嵌入和分类使用传统的机器学习和神经网络模型。然而,这些作品都没有使用最先进的基于注意力的深度神经网络模型(如Transformers和文档级上下文嵌入)来执行危机嵌入和分类。这项工作提出了CrisisBERT,这是一个基于端到端转换器的模型,用于两个危机分类任务,即危机检测和危机识别,它在准确性和f1分数方面显示出有希望的结果。所提出的模型还表现出优于基准的鲁棒性,因为它显示出边际性能妥协,同时从6个扩展到36个事件,只有51.4%的额外数据点。我们还提出了Crisis 2 Vec,一个基于注意力的,文档级的上下文嵌入架构的危机嵌入,实现更好的性能比传统的危机嵌入方法,如Word 2 Vec和GloVe。据我们所知,我们的工作是第一次提出使用transformer为基础的危机分类和文档级的上下文危机嵌入在文献中。
2020-05-18 cs.CL cs.LG cs.SI
From Word2Vec to Transformers: Text-Derived Composition Embeddings for Filtering Combinatorial Electrocatalysts
Ruhr University Bochum(鲁尔大学波恩)
本文提出基于文本的组成嵌入方法,用于无标签筛选电催化剂,通过比较Word2Vec与Transformer模型,实现对候选组合的有效过滤。
2026-03-09 cond-mat.mtrl-sci cs.CL
CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text
International Institute of Information Technology - Hyderabad (IIIT-Hyderabad)(海得拉巴国际信息技术学院(IIIT-Hyderabad))
语码混用是一种常见的语言现象,它是指在一个话语或句子中使用多种语言。CM主要在各种社交媒体平台和非正式对话中进行。情感分析是自然语言处理中的一个基本步骤,在单语文本中得到了很好的研究。语码混合由于其非标准的表示方式给情感分析带来了挑战。本文提出了一种基于Transformer的Meta嵌入方法,用于对Dravidian代码混合数据集进行情感分析。在我们的方法中,我们使用Meta嵌入来捕获富文本表示。我们将所提出的方法用于任务:“代码混合文本中的达罗毗荼语的情感分析”,并且对于给定的达罗毗荼语代码混合数据集,它实现了$0.58$和$0.66$的F1得分。代码在Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix中提供。
2021-01-22 cs.CL cs.LG
A Bilingual Generative Transformer for Semantic Sentence Embedding
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
语义句子嵌入模型将自然语言句子编码为向量,使得嵌入空间中的接近度指示句子之间的语义的接近度。双语数据为学习这种嵌入提供了有用的信号:翻译对中两个句子共享的属性可能是语义的,而不同的属性可能是风格或语言特定的。我们提出了一个深层潜变量模型,试图对平行句子进行声源分离,隔离它们在潜在语义向量中的共同点,并解释剩下的语言特定的潜在向量。我们提出的方法不同于过去的工作语义句子编码在两个方面。首先,通过使用变分概率框架,我们引入了鼓励声源分离的先验,并且可以使用我们的模型的后验来预测测试时单语数据的句子嵌入。其次,我们使用高容量的Transformers作为数据生成分布和推理网络-与大多数过去的工作句子嵌入。在实验中,我们的方法大大优于国家的最先进的一套标准的无监督语义相似性评估。此外,我们证明,我们的方法产生了最大的收益更困难的子集,这些评价简单的字重叠是不是一个很好的指标相似性。
2020-11-19 cs.CL cs.LG
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo(滑铁卢大学);Peking University(北京大学)
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是,它仅通过标记位置索引来区分连续标记。我们假设,更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点,我们提出了一个段感知的Transformer(Segatron),通过替换原来的令牌位置编码与段落,句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL,这是一种流行的基于transformer的语言模型,具有内存扩展和相对位置编码。我们发现,我们的方法可以进一步改善Transformer-XL基础模型和大模型,在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明,使用Segatron(SegaBERT)预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT,在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释,然后提出了广义注意力机制(GAM)。在解释之后,我们提供了对注意力机制的不同变体的描述,这些变体一起形成GAM。此外,我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
Analyzing Transformers in Embedding Space
The Blavatnik School of Computer Science, Tel-Aviv University(特拉维夫大学布拉瓦特尼克计算机科学学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出一种理论框架,通过将Transformer所有参数投影到嵌入空间进行解释,无需前向/后向传递,并展示了跨模型参数对齐及免训练分类器构建两个应用。
2023-12-24 cs.CL cs.LG
Source Code Summarization with Structural Relative Position Guided Transformer
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);The Chinese University of Hong Kong(香港中文大学)
源代码摘要旨在为程序设计语言生成简洁明了的自然语言描述。编写良好的代码摘要有利于程序员参与软件开发和维护过程。为了学习源代码的语义表示,最近的努力集中在将代码的语法结构合并到神经网络(如Transformer)中。这种基于变换器的方法可以比包括递归神经网络(RNN)的其他神经网络更好地捕获长程依赖性,然而,它们中的大多数没有考虑令牌之间的结构相对相关性,例如,抽象树(AST)中的相对位置,这有利于代码语义学习。为了对结构依赖性进行建模,我们提出了一种结构相对位置引导的Transformer,命名为STRT。该算法首先通过解析源代码的AST来获得标记之间的结构相对位置,然后将其传递给两种类型的Transformer编码器。一个Transformer根据结构相对距离直接调整输入,另一个Transformer在计算自我注意分数时对结构相对位置进行编码。最后,我们堆叠这两种类型的Transformer编码器来学习源代码的表示。实验结果表明,该方法在BLEU、ROUGE-L和METEOR三种测试数据集上的性能分别比现有方法提高了1.6%、1.4%和2.8%。我们进一步表明,如何建议的CRAFT捕获的结构相对依赖关系。
2022-02-14 cs.CL cs.SE
Embedding generation for text classification of Brazilian Portuguese user reviews: from bag-of-words to transformers
文本分类是一项自然语言处理(NLP)任务,与许多商业应用相关,如电子商务和客户服务。当然,由于内在的语言方面,如讽刺和细微差别,准确地对这些摘录进行分类往往是一个挑战。为了完成这个任务,必须为文档提供一个健壮的数字表示,这个过程称为嵌入。嵌入代表了当今NLP的一个关键领域,在过去十年中取得了重大进展,特别是在引入单词到向量概念以及用于解决NLP任务的深度学习模型(包括卷积神经网络(CNN),递归神经网络(RNN)和基于转换器的语言模型(TLM))普及之后。尽管在这一领域取得了令人印象深刻的成就,有关巴西葡萄牙语文本生成嵌入的文献报道很少,特别是在考虑商业用户评论时。因此,这项工作的目的是提供一个全面的实验研究嵌入方法,针对巴西葡萄牙语的用户评论的二进制情感分类。本研究包括从经典的(词袋)到最先进的(基于Transformer的)NLP模型。这些方法与五个开放源代码数据库进行了评估,这些数据库具有开放数字存储库中提供的预定义数据分区,以鼓励再现性。微调的TLM在所有情况下都取得了最佳结果,其次是基于神经网络的TLM,LSTM和CNN,根据分析的数据库,它们具有交替的排名。
2022-12-01 cs.AI cs.CL