Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Deep Attentive Ranking Networks for Learning to Order Sentences
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了一个基于注意力的排名框架，用于学习给定段落的句子排序。我们的框架是建立在一个双向的句子编码器和一个基于自注意力的Transformer网络，以获得一个输入顺序不变的段落表示。此外，它允许使用各种基于排名的损失函数（例如逐点、成对和列表排名）进行无缝训练。我们将我们的框架应用于两个任务：句子排序和顺序歧视。我们的框架在各种评估指标上优于这些任务的各种最先进的方法。我们还表明，它实现了更好的结果时，使用成对和列表排序损失，而不是逐点排序损失，这表明，将相对位置的两个或两个以上的句子中的损失函数有助于更好的学习。
2019-12-31 cs.CL cs.LG stat.ML
Revisiting Paraphrase Question Generator using Pairwise Discriminator
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种方法来获得双级嵌入。虽然保护词级嵌入的问题已经得到了很好的研究，但我们提出了一种获取句子级嵌入的新方法。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法在语义嵌入的结果，并优于国家的最先进的释义生成和情感分析任务的标准数据集。这些结果也显示出统计学显著性。
2020-01-04 cs.CL cs.LG
A Comparative Study of Sentence Embedding Models for Assessing Semantic Variation
University of Cincinnati（辛辛那提大学）
本文通过分析多部文学书籍中连续句子相似度时间序列和成对相似度矩阵，在真实场景下比较多种句子嵌入方法，发现它们能推断出高度相关的语义变化模式，但存在有趣差异。
2023-08-08 cs.AI cs.CL
FuocChuVIP123 at CoMeDi Shared Task: Disagreement Ranking with XLM-Roberta Sentence Embeddings and Deep Neural Regression
本文提出一种基于多语言句子嵌入和深度神经回归的方法，用于CoMeDi共享任务中的不一致排名，通过预测标注者判断差异均值，在斯皮尔曼相关性上取得竞争力，强调鲁棒嵌入和架构设计的重要性。
2025-01-21 cs.AI cs.CL
Sentence Encoding with Tree-constrained Relation Networks
DeepMind（深度思维）；Google（谷歌）
一个句子的意义是它的词与词之间的关系的函数。我们在一系列基于关系网络（RN）变体的神经模型中实例化这种语义的关系视图，这些关系网络表示一组对象（对我们来说，形成句子的单词）。我们提出了两个扩展的基本RN模型的自然语言。首先，建立在直觉上，不是所有的词对都是同样的信息的意义，一个句子，我们使用基于监督和无监督依赖语法的约束来控制哪些关系影响的表示。其次，由于高阶关系很难被成对关系的总和捕获，我们使用RN的递归扩展来传播信息，从而形成高阶关系的表示。句子分类，句子对分类，和机器翻译的实验表明，虽然基本的RNs只是适度有效的句子表示，经常性RNs与潜在的语法是一个可靠的强大的代表性设备。
2018-11-26 cs.AI cs.CL cs.LG
Poly-encoders: Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring
Facebook AI Research（脸书人工智能研究院）
深度预训练的双向Transformers的使用已经在许多应用中导致了显著的进步（Devlin等人，2018年）。对于在序列之间进行成对比较的任务，将给定的输入与相应的标签进行匹配，有两种方法是常见的：交叉编码器对该对进行完全自注意，双编码器对该对进行单独编码。前者通常性能更好，但对于实际使用来说太慢了。在这项工作中，我们开发了一个新的Transformer架构，多编码器，学习全球，而不是令牌级的自我关注功能。我们对这三种方法进行了详细的比较，包括哪些预训练和微调策略效果最好。我们展示了我们的模型在三个现有任务上实现了最先进的结果; Poly-encoders比Cross-encoders更快，比Bi-encoders更准确;最好的结果是通过在类似于下游任务的大型数据集上进行预训练获得的。
2020-03-25 cs.AI cs.CL
Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences
Henan Institute of Technology（河南科技学院）
提出ESC-GCN模型，通过融合实体感知自注意力与上下文化GCN，有效结合句法结构与语义上下文以减少依存树噪声，显著提升了长句关系抽取性能。
2024-11-12 cs.AI cs.CL
Bi-Encoders based Species Normalization -- Pairwise Sentence Learning to Rank
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；UTS（悉尼科技大学）；Climate Change Cluster（气候变化集群）
提出一种基于Bi-Encoders和BERT重排序的深度学习方法，将物种命名实体规范化视为成对学习排序问题，无需特征工程，在LINNAEUS和S800语料库上优于现有技术。
2023-10-22 cs.CL cs.LG
Attention-based Pairwise Multi-Perspective Convolutional Neural Network for Answer Selection in Question Answering
Faculty of Computer Engineering, University of Isfahan（伊斯法罕大学计算机工程学院）
在过去的几年中，问答和信息检索系统已经变得广泛使用。这些系统试图从原始文本源中找到所问问题的答案。这些系统的一个组成部分是答案选择，它从候选答案中选择最相关的答案。句法相似度主要用于计算相似度，但在最近的工作中，已经使用了深度神经网络，在这一领域取得了显着的进步。在这项研究中，提出了一个模型来选择最相关的答案的事实性问题的候选答案。该模型使用卷积神经网络，根据与问题的语义和句法相似性对候选答案进行排名。在本研究中，注意力机制和稀疏特征向量利用上下文敏感的问题和回答句子之间的相互作用。宽卷积增加了疑问词的重要性。成对排序用于学习可微表示以区分肯定和否定答案。我们的模型表明，TrecQA Raw在MAP中的表现强劲，比之前最先进的系统高出1.4%，在MRR中高出1.1%，同时没有使用额外的语法分析器和外部工具。结果表明，使用上下文敏感的问答句之间的相互作用，可以帮助更准确地找到正确的答案。
2019-11-11 cs.CL
Map of Encoders -- Mapping Sentence Encoders using Quantum Relative Entropy
Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
本文提出利用量子相对熵构建句子编码器地图，通过可视化编码器间关系，揭示预训练模型的分布特性及性能表现。
2026-02-09 cs.CL
Topological Interpretations of GPT-3
The University of Chicago（芝加哥大学）
本文通过GPT-3、Word2Vec和Sentence-BERT嵌入句子并计算距离矩阵相关性，实验性地探究了句子向量与语义之间的拓扑关联，验证了研究假设。
2023-08-08 cs.CL stat.CO
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
关于隐含关系的推理（例如，词对之间的释义、常识、百科全书）对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对，隐含地表示背景知识，这种关系。我们的成对嵌入被计算为单词表示的组合函数，这是通过最大化两个单词共同出现的上下文的逐点互信息（PMI）来学习的。我们将这些表示添加到现有推理模型的跨句注意力层（例如，QA的Biorean，NLI的ESIM），而不是扩展或替换现有的词嵌入。实验表明，在最近发布的SQuAD 2.0上的增益为2.7%，在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化，在对抗SQuAD数据集上获得约6-7%的收益，在Glockner et al.（2018）的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
Jina Embeddings: A Novel Set of High-Performance Sentence Embedding Models
Jina AI
本文介绍了Jina Embeddings高性能句子嵌入模型的开发过程，通过高质量数据集构建、数据清洗与MTEB基准评估，并引入新型否定陈述数据集以增强模型对语法否定的感知。
2023-10-20 cs.AI cs.CL cs.IR
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本文提出语义结构探测方法研究Transformer句子嵌入，发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
Multi-Document Summarization with Determinantal Point Processes and Contextualized Representations
University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
作为一种性能最好的摘要提取技术，决定点过程选择最有可能的一组句子，形成一个摘要，根据一个概率度量模型定义的句子突出和成对排斥。传统上，这些方面的建模使用浅和语言上知情的功能，但深语境化表示的兴起提出了一个有趣的问题，是否，以及在何种程度上，语境化表示可以用来改善DPP建模。我们的研究结果表明，尽管成功的深层表征，它仍然有必要将它们与表面指标相结合，以有效地识别摘要句。
2019-10-24 cs.CL
Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；The University of New South Wales（新南威尔士大学）
对比学习已被证明在增强预训练的语言模型（PLM）以获得优越的通用句子嵌入方面是有效的。然而，现有的对比方法仍然有两个局限性。首先，以前的工作可能会获得域转移设置下的性能差，从而阻碍了句子表示在实践中的应用。我们将这种低性能归因于具有数百万参数的PLM的过度参数化。为了缓解它，我们提出了PromCSE（用于句子嵌入的基于语义的对比学习），它只训练小规模的\emph{Soft Prompt}（即，一组可训练向量），同时保持PLM固定。其次，对比学习的常用NT-Xent损失函数在监督学习设置中没有充分利用硬否定。为此，我们建议整合一个基于能量的铰链损失，以提高成对的区分能力，受到NT-Xent损失和基于能量的学习范式之间的联系的启发。七个标准的语义文本相似性（STS）任务和一个领域转移的STS任务的实验结果都表明，我们的方法相比，目前最先进的句子嵌入模型的有效性。我们的代码可在https://github.com/YJiangcm/PromCSE上公开获取
2022-10-09 cs.CL
Similarity of Sentence Representations in Multilingual LMs: Resolving Conflicting Literature and Case Study of Baltic Languages
University of Tartu（塔尔图大学）
低资源语言，如波罗的语言，受益于大型多语言模型（LM），拥有显着的跨语言迁移性能能力。本文是对多语种语言标记语跨语言表征的解释和分析研究。以前的作品假设，这些LM内部项目表示不同的语言到一个共享的跨语言空间。然而，文献得出了相互矛盾的结果。在本文中，我们回顾了先前的工作，声称“BERT是不是一个中间语言”，并表明，不同的语言收敛到一个共享的空间，在这样的语言模型与另一种选择的池化策略或相似性指数。然后，我们进行跨语言的代表性分析的两个最流行的多语言LM采用378成对的语言比较。我们发现，虽然大多数语言共享联合跨语言的空间，有些没有。然而，我们注意到，波罗的海语言确实属于这一共享空间。该代码可在https://github.com/TartuNLP/xsim上获得。
2022-08-14 cs.CL
Sparse Lifting of Dense Vectors: Unifying Word and Sentence Representations
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
作为自动化自然语言处理的第一步，词语和句子的表示具有核心的重要性，并吸引了大量的研究关注。从早期的one-hot和bag-of-words表示到最近的分布式密集和稀疏表示，提出了不同的方法。尽管已经取得了成功的结果，这样的向量往往是由不可解释的组件，并面临在实际应用中的内存和计算需求的非平凡的挑战。在本文中，我们设计了一种新的表示模型，该模型将密集的词向量投影到更高维的空间中，并支持具有潜在可解释成分的词向量的高度稀疏和二进制表示，同时尽可能保持原始向量之间的成对内积。在计算上，我们的模型是放松作为一个对称的非负矩阵分解问题，承认一个快速而有效的解决方案。在一系列的实证评估中，该模型表现出一致的改进和高潜力的实际应用。
2019-11-05 cs.CL cs.LG
Pairwise Neural Machine Translation Evaluation
ALT Research Group（ALT研究组）；Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
我们提出了一个新的框架机器翻译评估使用神经网络在成对设置，其目标是选择更好的翻译从一对假设，给定的参考翻译。在这个框架中，词汇，句法和语义信息的参考和两个假设被压缩成相对较小的分布式矢量表示，并送入一个多层神经网络，模型之间的相互作用的每个假设和参考，以及两个假设。这些紧凑的表示又基于单词和句子嵌入，这些嵌入是使用神经网络学习的。该框架是灵活的，允许有效的学习和分类，并产生与人类的相关性，可与最先进的技术相媲美。
2019-12-05 cs.CL cs.IR cs.LG
Translating from Morphologically Complex Languages: A Paraphrase-Based Approach
National University of Singapore（新加坡国立大学）
我们提出了一种新的方法来翻译从一个形态复杂的语言。与以往的研究，有针对性的词的屈折变化和连接，我们专注于形态相关的词，我们把潜在的释义和处理使用释义技术在单词，短语和句子水平之间的成对关系。这个框架的一个重要优点是，它可以处理派生形态学，这在很大程度上仍然超出了统计机器翻译系统的能力。我们的实验翻译从马来语，其形态主要是派生的，到英语表现出显着的改进，竞争的方法的基础上，五个自动评估措施（320,000句对，950万英语单词标记）。
2021-09-27 cs.AI cs.CL cs.LG
Modeling Label Correlations for Ultra-Fine Entity Typing with Neural Pairwise Conditional Random Field
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
超精细实体分类（UFET）旨在预测广泛的类型短语，正确描述句子中提到的给定实体的类别。大多数最近的作品独立地推断每个实体类型，忽略类型之间的相关性，例如，当一个实体被推断为总统时，它也应该是一个政治家和领导人。为此，我们使用一个无向图模型称为成对条件随机场（PCRF）制定的UFET问题，其中的类型变量不仅是单一的影响，输入，但也成对地涉及到所有其他类型的变量。我们使用各种现代骨干实体类型计算一元潜力，并从类型短语表示，既捕获先前的语义信息，促进加速推理派生成对的潜力。我们使用平均场变分推理对非常大的类型集进行有效的类型推断，并将其展开为神经网络模块，以实现端到端的训练。UFET上的实验表明，Neural-PCRF始终优于其骨干，成本很低，并导致与基于交叉编码器的SOTA相比具有竞争力的性能，同时速度快数千倍。我们还发现Neural- PCRF在具有较小类型集的广泛使用的细粒度实体类型化数据集上有效。我们将Neural-PCRF打包为网络模块，可以轻松插入多标签类型分类器，并在https://github.com/modelscope/adaseq/tree/master/examples/NPCRF上发布。
2022-12-03 cs.CL
Cross-view Brain Decoding
大脑如何从多个角度捕捉语言刺激的意义仍然是神经科学中一个关键的开放性问题。考虑概念公寓的三个不同视图：（1）与目标词标签一起呈现的图片（WP），（2）使用目标词的句子（S），以及（3）包含目标词以及其他语义相关词的词云（WC）。不同于以往的努力，只专注于单视图分析，在本文中，我们研究了大脑解码的有效性，在一个zero-shot交叉视图学习设置。此外，我们提出了大脑解码的跨视图翻译任务，如图像字幕（IC），图像标记（IT），关键字提取（KE），和句子形成（SF）的新的上下文中。使用广泛的实验，我们证明了跨视图zero-shot大脑解码是实用的，导致跨视图对的平均成对准确度为~0.68。此外，解码的表示足够详细，以实现具有以下成对精度的跨视图翻译任务的高精度：IC（78.0）、IT（83.0）、KE（83.7）和SF（74.5）。对不同脑网络贡献的分析揭示了令人兴奋的认知见解：（1）高百分比的视觉体素参与图像字幕和图像标记任务，高百分比的语言体素参与句子形成和关键字提取任务。(2)在S视图上训练并在WC视图上测试的模型的Zero-shot精度优于在WC视图上训练并测试的模型的同视图精度。
2022-04-18 cs.AI cs.CL cs.CV
Domain Adaptation of Neural Machine Translation by Lexicon Induction
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
先前已经注意到，神经机器翻译（NMT）对域移位非常敏感。在本文中，我们认为，这是一个双重影响的高度词汇化的性质，NMT，导致失败的句子与大量的未知词，缺乏监督的领域特定的词。为了解决这个问题，我们提出了一种无监督自适应方法，该方法使用伪域内语料库对预训练的域外NMT模型进行微调。具体来说，我们进行词汇归纳提取领域内的词汇，并通过执行字对字的回译的单语领域内的目标句子构建一个伪并行的领域内语料库。在五个领域超过20个成对适应设置和两个模型架构中，我们的方法实现了一致的改进，而不使用任何域内并行语句，在未适应的模型上提高了14个BLEU，在强反向翻译基线上提高了2个BLEU。
2019-06-02 cs.CL
Integrating Knowledge Graph embedding and pretrained Language Models in Hypercomplex Spaces
University of Stuttgart（斯图加特大学）；University of Bonn（波恩大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；TU Dresden（德累斯顿工业大学）；Amazon（亚马逊）；University of Southampton（南安普顿大学）
本文提出用 4D Dihedron 与 Quaternion 超复数表示统一知识图谱结构嵌入及词、句、文档级文本表示，并通过相应乘积建模模态交互，从而提升链接预测性能。
2023-08-16 cs.AI cs.CL
Contrastive Visual Semantic Pretraining Magnifies the Semantics of Natural Language Representations
University of Washington（华盛顿大学）
我们研究对比视觉语义预训练的效果，通过比较GPT-2和CLIP（一个zero-shot多模态图像分类器，它适应GPT-2架构来编码图像字幕）形成的上下文化英语语言表示的几何和语义属性。我们发现，对比视觉语义预训练显着减轻了GPT-2的上下文词嵌入中发现的各向异性，使得CLIP词嵌入的层内自相似性（平均成对余弦相似性）在所有层中均低于0.25，而GPT-2的顶层大于0.95。CLIP词嵌入在词级语义内在评估任务上优于GPT-2，并在RG 65评估中达到了新的基于语料库的最新水平，为0.88。CLIP还形成了句子的细粒度语义表示，并在SemEval-2017语义文本相似性基准测试中获得了Spearman的rho = .73，没有进行微调，而GPT-2的任何层都不大于rho = .45。最后，CLIP句子嵌入的层内自相似性随着层索引的增加而降低，在顶层达到0.25，而使用EOS令牌形成的GPT-2句子嵌入的自相似性逐层增加，并且从未低于0.97。我们的研究结果表明，高各向异性是不是一个不可避免的后果的语境化，视觉语义预训练是有益的，不仅为有序的视觉表示，但也为编码有用的语义表示的语言，无论是在单词水平和句子水平。
2022-03-14 cs.AI cs.CL cs.CY
ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning
National Taiwan University（国立台湾大学）；National Cheng Kung University（国立成功大学）
虽然关系抽取是知识获取和表示中的一项重要任务，并且新生成的关系在现实世界中很常见，但在预测在训练阶段无法观察到的看不见的关系方面所做的努力较少。在本文中，我们制定了zero-shot关系抽取问题，将可见和不可见的关系的文本描述。我们提出了一种新的多任务学习模型，zero-shot BERT（ZH-BERT），直接预测看不见的关系，而无需手工制作的属性标签和多个成对分类。给定由输入句子和它们之间关系的描述组成的训练实例，Escher-BERT学习两个函数，通过联合最小化它们之间的距离和对所看到的关系进行分类，将句子和关系描述投影到嵌入空间中。基于这两个函数生成未见关系和新句子的嵌入，使用最近邻搜索来获得未见关系的预测。在两个著名的数据集上进行的实验表明，EST-BERT可以比现有的方法至少提高13.54%的F1得分。
2021-04-10 cs.CL cs.IR cs.LG
Lost in State Space: Probing Frozen Mamba Representations
University of Washington（华盛顿大学）；University of Florida（佛罗里达大学）
研究探讨了冻结Mamba模型在固定块边界提取句子表示的效果，发现其不如简单均值池化，揭示了严重的各向异性与表示崩溃问题，并提出正交注入方法。
2026-04-30 cs.CL cs.LG
ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model
Baidu Inc.（百度公司）
本文介绍了ERNIE团队设计的系统，该系统在SemEval-2020任务10：视觉媒体中书面文本的重点选择中获得了第一名。给定一个句子，我们被要求找出最重要的单词作为自动设计的建议。我们利用无监督的预训练模型，并根据我们的任务微调这些模型。经过我们的调查，我们发现以下模型在这个任务中取得了优异的性能：ERNIE 2.0，XLM-ROBERTA，ROBERTA和ALBERT。我们结合了逐点回归损失和成对排名损失，这更接近最终的M atchm度量来微调我们的模型。我们还发现，额外的特征工程和数据增强可以帮助提高性能。我们的最佳模型获得了0.823的最高分，在各种指标中排名第一
2020-09-08 cs.CL
Concept Representations in Vector Space: Quantifying Sharedness and Idiosyncrasy of Meaning
本研究开发了基于句子嵌入的测量框架，量化个体间概念表示的共享性与特殊性，经125人实验验证，该框架可复现且可扩展，为意义差异研究提供工具。
2026-10-14 cs.CL
Embedding Arithmetic of Multimodal Queries for Image Retrieval
Meta AI；Sorbonne Université（索邦大学）；Valeo（法雷奥）
潜在文本表征表现出几何相似性，例如著名的类比：女王之于国王，就像女人之于男人。最近的作品旨在弥合这一语义差距嵌入图像和文本到一个多模态空间，使文本定义的转换到图像模态。我们引入SIMAT数据集来评估多模态查询的图像检索任务。SIMAT包含6 k图像和18 k文本转换查询，旨在替换场景元素或更改场景元素之间的成对关系。目标是检索与（源图像，文本转换）查询一致的图像。我们使用一个图像/文本匹配oracle（OSCAR）来评估图像转换是否成功。SIMAT数据集将向公众开放。我们使用SIMAT来评估使用图像/文本匹配目标（如CLIP）训练的多模态嵌入空间的几何属性。我们表明，香草CLIP嵌入不是很适合用delta向量变换图像，但对COCO数据集进行简单的微调可以带来显着的改善。我们还研究了利用预训练的通用句子编码器（FastText，LASER和LaBSE）是否有益。
2022-10-20 cs.CL cs.CV
