Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
GateNLP-UShef at SemEval-2022 Task 8: Entity-Enriched Siamese Transformer for Multilingual News Article Similarity
University of Sheffield（谢菲尔德大学）
本文介绍了SemEval-2022任务8：多语言新闻文章相似度排行榜上的第二名系统。我们提出了一个实体丰富的连体Transformer计算新闻文章相似度的基础上，不同的子维度，如共享的叙事，实体，地点和时间的事件中讨论的新闻文章。我们的系统利用暹罗网络架构，使用Transformer编码器来学习文档级表示，以捕获叙事以及从新闻文章中提取的基于辅助实体的特征。将所有这些特征一起使用的直觉是捕捉不同粒度级别的新闻文章之间的相似性，并评估不同新闻媒体报道“相同事件”的程度。我们的实验结果和详细的烧蚀研究证明了我们提出的方法的有效性和有效性。
2022-06-29 cs.AI cs.CL cs.CY
A Comprehensive Framework for Semantic Similarity Analysis of Human and AI-Generated Text Using Transformer Architectures and Ensemble Techniques
Cornell University（康奈尔大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chinese Academy of Sciences（中国科学院大学）
针对AI生成文本检测挑战，提出结合DeBERTa-v3-large、双向LSTM和线性注意力池化的多层语义相似度分析架构，辅以输入输出增强技术，实验证明其优于传统方法。
2025-01-31 cs.AI cs.CL
A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A Transformer-based Approach
IIIT Naya Raipur（新赖布尔印度信息技术学院）
针对传统神经网络在语义相似度建模中上下文提取不当的问题，本文提出基于Transformer的DeBERTa变体方法，结合K折交叉验证在专利短语匹配数据集上实验，取得0.79平均Pearson相关系数，性能优于传统技术。
2023-06-25 cs.AI cs.CL cs.NE
Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention
University of Michigan（密歇根大学）
我们提出了一种新的解释，基于相似性的干扰效应在主谓和反身代词一致性处理，接地在从预训练的大规模Transformer模型，GPT-2计算的crossal值。具体而言，我们表明，动词或反身代词的替代预测促进干扰效果在不合语法的句子，在那里一个干扰名词，在数量上与动词或代词匹配导致更快的阅读时间，尽管干扰不参与协议关系。我们回顾了人类的经验证据，包括最近的荟萃分析和大规模的研究。我们还表明，注意模式（索引熵和其他措施）在Transformer显示模式的分散注意力在存在类似的干扰，符合基于线索的检索模型的解析。但与这些模型相反，注意力线索和记忆表征完全是从预测下一个单词的简单自我监督任务中学习的。
2021-04-26 cs.CL
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Toronto（多伦多大学）
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设，并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
Explaining Text Similarity in Transformer Models
Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）
本文使用 BiLRP 对基于 Transformer 的双线性文本相似性模型进行二阶相关性解释，并通过语法、多语言语义和生物医学检索三类语料库级分析验证其效用。
2024-05-10 cs.CL cs.LG
Fine-Tuned Transformers Show Clusters of Similar Representations Across Layers
New York University（纽约大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
尽管针对下游自然语言理解（NLU）任务成功地微调了像BERT这样的预训练语言编码器，但人们仍然对微调后神经网络的变化知之甚少。在这项工作中，我们使用中心内核对齐（CKA），一种比较学习表示的方法，来测量跨层任务调整模型中表示的相似性。在12个NLU任务的实验中，我们发现了一个一致的块对角结构，在微调的RoBERTa和ALBERT模型中表示的相似性，在早期和后期层的集群中具有很强的相似性，但在它们之间没有。后期层表示的相似性意味着后期层对任务性能的贡献很小，并且我们在实验中验证了微调的Transformers的顶部几层可以在不损害性能的情况下被丢弃，即使没有进一步的调整。
2021-09-20 cs.CL
Prompt-Engineering and Transformer-based Question Generation and Evaluation
本文研究如何结合微调distilBERT与LLaMA提示工程从文本生成问题，并在SQuAD上验证四种提示均取得平均超60%的相似度。
2023-10-29 cs.AI cs.CL
PhiloBERTA: A Transformer-Based Cross-Lingual Analysis of Greek and Latin Lexicons
Wolfram Institute（沃尔夫勒姆研究所）；Ralston College（罗尔斯顿学院）
提出跨语言Transformer模型PhiloBERTA，通过上下文嵌入和角度相似性指标分析古希腊语与拉丁语词汇语义关系，发现词源相关术语对（尤其哲学概念）相似度更高且语义保留稳定，为古典文献学提供定量研究框架。
2025-03-07 cs.AI cs.CL
What do Toothbrushes do in the Kitchen? How Transformers Think our World is Structured
Goethe-University Frankfurt（法兰克福歌德大学）
基于transformer的模型现在在NLP中占主导地位。它们在许多方面优于基于静态模型的方法。这一成功反过来又促使研究揭示了Transformers生成的语言模型中的许多偏见。在本文中，我们利用这项研究的偏见，调查在何种程度上transformer为基础的语言模型允许提取知识的对象关系（X发生在Y; X由Z;行动A涉及使用X）。为此，我们比较上下文模型与静态模型。我们进行这种比较依赖于一些相似性度量和分类器的应用。我们的结果有三个方面：首先，我们表明，与不同的相似性措施相结合的模型，它们允许提取的知识量有很大的不同。其次，我们的研究结果表明，相似性度量的表现比基于分类器的方法差得多。第三，我们发现，令人惊讶的是，静态模型的表现几乎和情境化模型一样好，在某些情况下甚至更好。
2022-04-12 cs.CL
Improving Text Semantic Similarity Modeling through a 3D Siamese Network
Shanghai University of International Business and Economics（上海对外经贸大学）
针对传统孪生网络建模文本语义相似度时因池化丢失层级语义、限制下游方法的问题，提出3D孪生网络将语义映射到高维空间，搭配多模块强化框架，在四个基准上验证了有效性与高效性。
2023-07-18 cs.AI cs.CL
Similarity Guided Multimodal Fusion Transformer for Semantic Location Prediction in Social Media
Dalian University of Technology（大连理工大学）；Shandong University of Science and Technology（山东科技大学）
针对社交媒体多模态帖子语义位置预测中噪声与模态异质性难题，提出相似性引导多模态融合Transformer，通过粗细粒度相似性引导交互与相似性感知融合提升预测性能。
2024-06-23 cs.CL cs.CV
FarSSiBERT: A Novel Transformer-based Model for Semantic Similarity Measurement of Persian Social Networks Informal Texts
Shahrood University of Technology（沙赫鲁德理工大学）；Hazrat-e Masoumeh University（哈兹拉特·马苏梅大学）；Iran Telecommunication Research Center (ITRC)（伊朗电信研究中心）
本文提出基于BERT从头训练的FarSSiBERT模型，用于测量波斯语社交网络非正式短文本的语义相似度，并构建了FarSSiM数据集，实验证明其在Pearson和Spearman系数上优于多个主流模型。
2024-07-27 cs.AI cs.CL
All Bark and No Bite: Rogue Dimensions in Transformer Language Models Obscure Representational Quality
Cornell University（康奈尔大学）
相似性度量是理解语言模型如何表示和处理语言的重要工具。标准的表示相似性度量，如余弦相似性和欧氏距离，已成功地用于静态词嵌入模型，以了解如何在语义空间中的词集群。最近，这些措施已被应用到嵌入的上下文模型，如BERT和GPT-2。在这项工作中，我们提出了这样的措施的信息性的问题，语境化的语言模型。我们发现，少数的流氓维度，往往只有1-3，这些措施占主导地位。此外，我们发现主导相似性度量的维度与对模型行为很重要的维度之间存在显著的不匹配。我们表明，简单的后处理技术，如标准化能够纠正流氓尺寸，并揭示潜在的代表性质量。我们认为，占流氓尺寸是必不可少的任何相似性为基础的分析上下文语言模型。
2021-09-09 cs.CL cs.LG
Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity
Department of Computer Science and Engineering, The Ohio State University（计算机科学与工程系，俄亥俄州立大学）
本文通过简单余弦相似度分析Transformer逐层表示相似性，提出对齐训练方法增强浅层有效性，实现单分类器多出口模型，性能与标准多出口架构相当。
2025-05-22 cs.AI cs.CL cs.CV
Character-level NMT and language similarity
Charles University（查理大学）
本文研究字符级Transformer神经机器翻译在不同语言相似度与数据规模下的表现，发现相似语言间字符级切分更优，而远距离语言中子词级更佳，并验证通过子词级模型微调可缩小字符级模型的性能差距。
2023-08-08 cs.CL
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Towards Universality: Studying Mechanistic Similarity Across Language Model Architectures
OpenMOSS Team, School of Computer Science, Fudan University（复旦大学计算机科学学院OpenMOSS团队）
本研究使用Sparse Autoencoders探究Transformers和Mambas的机制相似性，发现两者在特征和归纳电路层面高度相似，并揭示了Mamba特有的Off-by-One motif差异。
2024-10-10 cs.CL
How Redundant Is the Transformer Stack in Speech Representation Models?
Technical University of Denmark（丹麦技术大学）
该研究针对基于Transformer的自监督语音表示模型，通过三种相似度指标分析发现层间存在显著冗余，验证了无需后训练的剪枝及知识蒸馏方法可大幅缩减模型规模与推理时间且性能损失极小。
2025-01-17 cs.CL cs.LG cs.SD
Mapping Researcher Activity based on Publication Data by means of Transformers
Deggendorf Institute of Technology（代根多夫应用技术大学）
本研究利用Transformer架构的预训练语言模型BERT处理本地出版物数据库，通过论文编码聚类构建科研主题全景，定义作者相似度及自相似度指标，实现研究者研究活动的图谱化分析。
2023-06-15 cs.CL cs.DL cs.IR
ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering
Seoul National University（首尔国立大学）；Hanshin University（韩神大学）
最近，预先训练的语言表示模型，如来自transformers的双向编码器表示（BERT），在常识问答（CSQA）中表现良好。然而，存在的问题是，模型不直接使用外部存在的知识源的显式信息。为了增强这一点，已经提出了其他方法，例如知识感知图网络（KagNet）和多跳图关系网络（MHGRN）。在这项研究中，我们建议使用最新的预训练的语言模型，一个精简的双向编码器表示从变压器（ALBERT）与知识图谱信息抽取技术。我们还提出了新的方法，模式图扩展到最近的语言模型。然后，我们分析了基于知识图谱的知识抽取技术应用于最近的预训练语言模型的效果，并证实模式图扩展在一定程度上是有效的。此外，我们表明，我们提出的模型可以实现更好的性能比现有的KagNet和MHGRN模型在CommonsenseQA数据集。
2022-11-14 cs.AI cs.CL
Your Transformer is Secretly Linear
AIRI；Skoltech（斯科尔泰克理工学院）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；HSE University（高等经济大学）；SberAI
该研究发现Transformer解码器层间嵌入变换存在近完美线性关系，验证了高线性模块移除/近似对性能影响小，还提出余弦相似度正则化在降低线性度的同时提升基准性能，刷新了对Transformer架构的认知。
2024-05-19 cs.AI cs.CL cs.LG
L1 Augmented Attention as an Improved Vector Similarity Metric
研究针对缩放点积注意力在Transformer模型中作为相似性度量的局限，提出L1增强注意力方法，通过减去特定头的L1距离改进相似性计算，经实验在WikiText 2上取得更好效果，揭示了各层几何作用及头级专业化，有效提升语言模型相似性计算。
2026-07-21 cs.CL cs.LG
Towards explainable evaluation of language models on the semantic similarity of visual concepts
National Technical University of Athens（雅典国立技术大学）
NLP研究的最新突破，例如Transformer模型的出现，无可争议地促进了几项任务的重大进展。然而，很少有研究的鲁棒性和可解释性问题的评价策略。在这项工作中，我们研究了高性能的预训练语言模型的行为，重点是视觉词汇表的语义相似性的任务。首先，我们解决了需要解释的评价指标，必要的理解检索实例的概念质量。我们提出的指标提供了宝贵的见解，在当地和全球层面上，展示了广泛使用的方法的无能。其次，对抗性干预显着的查询语义暴露不透明的指标和突出学习的语言表示模式的漏洞。
2022-09-08 cs.AI cs.CL
Exploring Linguistic Properties of Monolingual BERTs with Typological Classification among Languages
University of Rome Tor Vergata（罗马第二大学）；University for foreigners of Siena（锡耶纳外国人大学）；Campus Bio-Medico University of Rome（罗马校园生物医学大学）；Idiap Research Institute（伊迪亚普研究所）
本文提出利用语言类型学相似性逐层比较单语 BERT，并借助 Centered Kernel Alignment 分析权重矩阵，发现句法相似性反映在中间层，且语义等价文本上的领域自适应会增强该相似性。
2024-02-29 cs.AI cs.CL
Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
Baidu Inc.（百度公司）
本研究提出支持220余种语言的通用多语言句子表示模型MuSR，结合CrossConST跨语言一致性正则化技术训练模型，在多语言相似度搜索和双语文本挖掘任务上性能优于由148个独立编码器构成的LASER3。
2023-06-12 cs.AI cs.CL
A comparative analysis of embedding models for patent similarity
Bordeaux School of Economics（波尔多经济学院）；Université de Bordeaux（波尔多大学）
本文比较了不同专利专用预训练嵌入模型在专利相似性任务上的性能，发现提出的Patent SBERT-adapt-ub模型优于现有最先进水平，并指出上下文嵌入的性能优势可能源于训练方式而非架构本身。
2024-03-25 cs.CL cs.IR cs.LG
PaECTER: Patent-level Representation Learning using Citation-informed Transformers
Max Planck Institute for Innovation and Competition（马克斯·普朗克创新与竞争研究所）
本研究提出专为专利设计的开源文档级编码器PaECTER，通过审查员引文信息微调BERT for Patents生成专利表示，在专利相似性任务上性能优于现有主流模型，可支撑现有技术检索等下游应用。
2026-10-30 cs.CL cs.IR cs.LG
The Devil is in the Details: Evaluating Limitations of Transformer-based Methods for Granular Tasks
Indraprastha Institute of Information Technology Delhi（德里英迪拉普拉斯信息技术研究所）；Snap Inc.（阅后即焚公司）
近年来，从基于transformer的神经语言模型导出的上下文嵌入在诸如问答、情感分析和文本相似性等各种任务中表现出了最先进的性能。大量的工作表明，这些模型可以准确地表示文本中存在的抽象语义信息。在这个短暂的工作中，我们探索了切线方向，并分析了这些模型在需要更细粒度表示的任务上的性能。我们专注于从两个角度的文本相似性的问题：在粒度级别上匹配文档（需要嵌入捕获文本中的细粒度属性），和一个抽象的水平（需要嵌入捕获整体的文本语义）。我们通过经验证明，在来自不同领域的两个数据集上，尽管抽象文档匹配的性能如预期的那样高，但对于更细粒度的任务，上下文嵌入始终（有时，大大）优于TF-IDF等简单基线。然后，我们提出了一个简单但有效的方法，将TF-IDF模型，使用上下文嵌入，实现了高达36%的粒度任务的相对改善。
2020-11-02 cs.CL
Quantifying Character Similarity with Vision Transformers
Renmin University（中国人民大学）；Harvard University（哈佛大学）；National Bureau of Economic Research（美国国家经济研究局）
本研究提出一种基于视觉Transformer（ViT）和对比学习的方法，通过计算同形字向量的余弦距离作为字符替换成本，显著提升了OCR文档的记录链接准确率，并验证了其在低资源古文字中的泛化能力。
2023-05-24 cs.CL cs.CV econ.GN
Comateformer: Combined Attention Transformer for Semantic Sentence Matching
School of Software, Tsinghua University（清华大学软件学院）；Baidu Inc.（百度公司）
针对 Transformer 注意力 softmax 易遗漏句子细微差异的问题，提出 Comateformer，利用可组合、相减和缩放向量的准注意力及正负亲和性建模，在十个真实数据集和鲁棒性测试中持续提升语义句子匹配性能。
2024-12-10 cs.CL
On Dataset Transferability in Active Learning for Transformers
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
本文研究文本分类中主动学习数据集跨预训练语言模型的可迁移性，发现采集序列相似性决定迁移效果，且方法选择比模型选择影响更大。
2023-09-29 cs.CL cs.LG
Question Generation by Transformers
U.S. Bank（美国合众银行）
开发了一个机器学习模型，使用Transformers从维基百科的段落中自动生成问题，这是一种基于注意力的模型，避开了现有的递归神经网络（RNN）的范式。该模型是在反向斯坦福问答数据集（SQuAD）上训练的，该数据集是一个阅读理解数据集，由众包工作者对一组维基百科文章提出的10万多个问题组成。经过训练后，问题生成模型能够生成与未见过的段落相关的简单问题，以及每个问题平均包含8个单词的答案。单词出错率（WER）被用作比较SQuAD问题和模型生成的问题之间的相似性的度量。虽然高平均WER表明生成的问题与原始SQuAD问题不同，但生成的问题大多语法正确，并且本身似乎合理。
2019-09-14 cs.AI cs.CL cs.LG
Interpreting BERT-based Text Similarity via Activation and Saliency Maps
Microsoft（微软）；Tel-Aviv University（特拉维夫大学）；The Open University（开放大学）；Bar-Ilan University（巴伊兰大学）
最近，人们对基于transformer的模型产生有意义的文本嵌入的能力越来越感兴趣，这些嵌入具有多种应用，例如文本相似性。尽管在该领域取得了重大进展，但对相似性预测的解释仍然具有挑战性，特别是在无监督的环境中。在这项工作中，我们提出了一种无监督的技术来解释由预训练的BERT模型推断的段落相似性。通过查看一对段落，我们的技术识别出决定每个段落语义的重要单词，在两个段落中的单词之间进行匹配，并检索解释两者之间相似性的最重要的对。该方法已通过广泛的人类评估进行评估，并在包含长而复杂的段落的数据集上进行了演示，显示出很大的前景，提供了与人类感知更好相关的准确解释。
2022-08-13 cs.CL
An Accurate Model for Predicting the (Graded) Effect of Context in Word Similarity Based on Bert
Southeast University（东南大学）
近年来，自然语言处理（NLP）在语义分析中得到了广泛的应用。本文主要讨论了一种方法来分析上下文对人类感知相似词的影响，这是SemEval 2020的第三个任务。我们采用了几种方法来计算两个嵌入向量之间的距离产生的双向编码器表示从Transformer（BERT）。我们的团队will_go获得了subtask1芬兰语赛道第一名，subtask1英语赛道第二名。
2020-07-22 cs.CL cs.LG
Is Anisotropy Inherent to Transformers?
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）
该研究针对Transformer表征退化的各向异性问题，通过实验验证特定目标语言模型及多模态Transformer中均存在该现象，提出各向异性可能是Transformer类模型的固有属性，突破了此前仅归因于长尾分布交叉熵损失优化的认知。
2023-06-13 cs.CL
A Bilingual Generative Transformer for Semantic Sentence Embedding
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
语义句子嵌入模型将自然语言句子编码为向量，使得嵌入空间中的接近度指示句子之间的语义的接近度。双语数据为学习这种嵌入提供了有用的信号：翻译对中两个句子共享的属性可能是语义的，而不同的属性可能是风格或语言特定的。我们提出了一个深层潜变量模型，试图对平行句子进行声源分离，隔离它们在潜在语义向量中的共同点，并解释剩下的语言特定的潜在向量。我们提出的方法不同于过去的工作语义句子编码在两个方面。首先，通过使用变分概率框架，我们引入了鼓励声源分离的先验，并且可以使用我们的模型的后验来预测测试时单语数据的句子嵌入。其次，我们使用高容量的Transformers作为数据生成分布和推理网络-与大多数过去的工作句子嵌入。在实验中，我们的方法大大优于国家的最先进的一套标准的无监督语义相似性评估。此外，我们证明，我们的方法产生了最大的收益更困难的子集，这些评价简单的字重叠是不是一个很好的指标相似性。
2020-11-19 cs.CL cs.LG
Sentence Bottleneck Autoencoders from Transformer Language Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
通过在大型语料库上预训练语言模型来进行文本的表示学习已经成为构建NLP系统的标准起点。这种方法与自动编码器相反，自动编码器也是在原始文本上训练的，但其目标是学习将每个输入编码为允许完全重建的向量。自编码器是有吸引力的，因为他们的潜在空间结构和生成属性。因此，我们探索从预训练的冻结的Transformer语言模型构建一个并行级自动编码器。我们将掩蔽语言建模目标调整为生成的去噪目标，同时只训练句子瓶颈和单层修改的Transformer解码器。我们证明，我们的模型发现的句子表示比以前的方法获得更好的质量，这些方法在文本相似性任务，风格转换（控制生成的一个例子）和GLUE基准中的单句分类任务上从预训练的Transformers中提取表示，同时使用比大型预训练模型更少的参数。
2021-09-10 cs.CL
Assessing Phrasal Representation and Composition in Transformers
University of Chicago（芝加哥大学）；Deptartment of Computer Science（计算机科学系）；Department of Linguistics（语言学系）
深度Transformer模型将NLP任务的性能推向了新的极限，这表明对复杂语言输入（如短语）的复杂处理。然而，我们对这些模型如何处理短语表示的理解有限，以及这是否反映了像人类一样复杂的短语含义组成。在本文中，我们对最先进的预训练Transformers中的短语表示进行了系统的分析。我们使用测试，利用人类判断的短语相似性和意义的转变，并比较前后控制词重叠的结果，梳理除了词汇效果与成分的影响。我们发现，这些模型中的短语表示在很大程度上依赖于词的内容，几乎没有证据的细微差别组成。我们还确定了模型，层和表示类型之间的短语表示质量的变化，并为使用这些模型的表示提出相应的建议。
2020-10-14 cs.CL
Decoupling the Role of Data, Attention, and Losses in Multimodal Transformers
DeepMind（深度思维）
最近，多模态Transformer模型得到了普及，因为它们在语言和视觉任务上的表现表明它们学习了丰富的视觉语言表征。针对zero-shot图像检索任务，我们研究了影响学习表征质量的三个重要因素：预训练数据、注意力机制和损失函数。通过在六个数据集上对模型进行预训练，我们观察到数据集噪声和语言与下游任务的相似性是模型性能的重要指标。通过架构分析，我们了解到具有多模态注意力机制的模型可以优于具有模态特定注意力机制的更深模型。最后，我们表明，成功的对比损失中使用的自监督学习文献不产生类似的性能增益时，用于多模态Transformers
2021-01-31 cs.CL cs.CV
BITS Pilani at HinglishEval: Quality Evaluation for Code-Mixed Hinglish Text Using Transformers
BITS Pilani（比尔拉科学技术学院皮拉尼分校）
代码混合文本数据由包含来自多种语言的单词或短语的句子组成。世界上大多数多语言社区使用多种语言进行交流，英语通常是其中之一。印度式英语是一种由印度语和英语组成的代码混合文本，但以罗马字母书写。本文的目的是确定影响由系统生成的代码混合文本数据的质量的因素。对于Hinglish Eval任务，该模型使用多语言BERT来找到合成生成的句子和人类生成的句子之间的相似性，以预测合成生成的Hinglish句子的质量。
2022-06-17 cs.CL cs.LG
Feature Resemblance: Towards a Theoretical Understanding of Analogical Reasoning in Transformers
Department of Information Engineering, The Chinese University of Hong Kong, Hong Kong（香港中文大学信息工程系）
本文通过最小化Transformer抽象模型，从理论上证明联合训练和特定课程顺序能使实体在表示空间中对齐，从而通过特征相似性实现属性转移，即类比推理。
2026-05-25 cs.CL cs.LG
Sublinear Time Approximation of Text Similarity Matrices
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们研究了在自然语言处理中出现的近似成对相似矩阵的算法。通常，计算$n$数据点的相似性矩阵需要$Ω(n^2)$相似性计算。这种二次缩放是一个重要的瓶颈，特别是当相似性是通过昂贵的函数计算时，例如，通过Transformer模型。近似方法通常通过使用精确计算的相似性的一个小子集来近似完整的成对相似性矩阵的其余部分来降低这种二次复杂性。重要的工作集中在半正定（PSD）相似性矩阵的有效近似上，其例如产生于，内核方法。然而，对NLP中经常出现的不确定（非PSD）相似性矩阵的理解要少得多。出于观察，这些矩阵中的许多仍然有点接近PSD，我们介绍了流行的Nyström方法的不确定设置的泛化。我们的算法可以应用于任何相似性矩阵，并在矩阵大小的次线性时间内运行，仅用$O(ns)$相似性计算产生秩- $s$近似。我们表明，我们的方法，以及一个简单的变种CUR分解，表现非常好，近似各种相似性矩阵中产生的NLP任务。我们在文档分类、句子相似性和跨文档共指的下游任务中展示了近似相似性矩阵的高精度。
2022-04-27 cs.CL cs.LG
Semantic Answer Similarity for Evaluating Question Answering Models
deepset
问答模型的评估将地面实况注释与模型预测进行比较。然而，到目前为止，这种比较主要是基于词汇的，因此错过了没有词汇重叠但语义相似的答案，从而将正确答案视为错误。这种对模型真实性能的低估阻碍了用户在应用程序中的接受，并使不同模型的公平比较变得复杂。因此，需要一种基于语义而不是纯粹的字符串相似性的评估度量。在这篇简短的论文中，我们提出了SAS，一个跨编码器为基础的度量语义答案相似性的估计，并将其与现有的七个度量进行比较。为此，我们创建了一个英语和德语的三向注释评估数据集，其中包含成对的答案以及人类对其语义相似性的判断，我们将其与SAS度量和实验的实现一起发布。我们发现，语义相似性度量的基础上，最近的Transformer模型更好地与人类的判断比传统的词汇相似性度量我们的两个新创建的数据集和一个数据集从相关的工作。
2021-10-21 cs.CL cs.IR
Zero-Shot Text Matching for Automated Auditing using Sentence Transformers
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；PWC GmbH WPG（普华永道会计师事务所（德国））
自然语言处理方法在自动审计中具有若干应用，包括文档或段落分类、信息检索和问答。然而，训练这样的模型需要大量的注释数据，这在工业环境中是稀缺的。与此同时，像zero-shot和无监督学习这样的技术允许将使用一般领域数据预训练的模型应用于看不见的领域。在这项工作中，我们研究了无监督文本匹配的效率，使用句子伯特，一个基于transformer的模型，通过将其应用到金融段落的语义相似性。实验结果表明，该模型对来自域内和域外数据的文档具有较好的鲁棒性。
2022-10-28 cs.CL cs.LG
Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
Nagoya University（名古屋大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
我们介绍了一种新的序列到序列（seq2seq）语音转换（VC）模型的基础上Transformer架构与文本转语音（TTS）预训练。Seq2seq VC模型由于其转换韵律的能力而具有吸引力。虽然基于递归神经网络（RNN）和卷积神经网络（CNN）的seq2seq模型已成功应用于VC，但尚未研究Transformer网络的使用，该网络已在各种语音处理任务中显示出有希望的结果。尽管如此，它们的数据饥渴属性和转换后语音的错误发音使得seq2seq模型远不实用。为此，我们提出了一种简单而有效的预训练技术，从学习的TTS模型中转移知识，这些模型受益于大规模，易于访问的TTS语料库。用这种预训练的模型参数初始化的VC模型能够为高保真、高度可理解的转换语音生成有效的隐藏表示。实验结果表明，这样的预训练方案可以促进数据有效的训练，并在可理解性，自然度和相似性方面优于基于RNN的seq2seq VC模型。
2019-12-14 cs.CL cs.LG cs.SD
