Sentiment-Aware Word and Sentence Level Pre-training for Sentiment Analysis
Xiamen University（厦门大学）；The University of Melbourne（墨尔本大学）；IDEA Research（IDEA研究院）；Microsoft Research Asia（微软亚洲研究院）
大多数现有的预训练语言表示模型（PLM）在情感分析任务中是次优的，因为它们从词级捕获情感信息，而不充分考虑句子级信息。在本文中，我们提出了SentiWSP，一种新的情感感知预训练语言模型，结合单词级和句子级预训练任务。词级预训练任务通过生成器-语义框架检测替换的情感词，以增强PLM关于情感词的知识。句子级预训练任务通过对比学习框架进一步加强了语义，将相似的句子作为否定样本，以编码句子中的情感。大量的实验结果表明，SentiWSP实现了新的国家的最先进的性能在各种不同的层次和方面的情感分类基准。我们已经在https://github.com/XMUDM/SentiWSP上公开了我们的代码和模型。
2022-10-19 cs.CL
Personalized sentence generation using generative adversarial networks with author-specific word usage
University of Electronic Science and Technology of China（中国电子科技大学）；National Pingtung University（国立屏东大学）
作者专用词的使用是读者感知作者写作风格的重要特征。在这项工作中，个性化的句子生成方法的基础上生成对抗网络（GANs），提出了解决这个问题。在GAN训练中，将常用的功能词和内容词作为输入特征和句子结构约束。对于由用户决定的相关主题的句子生成，输入词的命名实体识别（NER）信息也用于网络训练。将该方法与基于GAN的句子生成方法进行了比较，实验结果表明，基于BLEU和SimHash评分等客观评价，使用该方法生成的句子与同一作者的原始句子更相似。
2019-04-20 cs.CL
Word Usage Similarity Estimation with Sentence Representations and Automatic Substitutes
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；Univ. Paris Sud（巴黎第十一大学）；Université Paris-Saclay（巴黎-萨克雷大学）；LLF, CNRS（法国国家科学研究中心语言形式实验室）；Univ. Paris Diderot（巴黎狄德罗大学）
使用相似度估计解决了不同上下文中单词实例的语义接近度。我们将上下文化（ELMo和BERT）的单词和句子嵌入应用于此任务，并提出了利用这些表示进行预测的监督模型。我们的模型还得到了由context2vec自动分配给单词实例的词汇替代注释的帮助，context2vec是一种依赖于双向LSTM的神经模型。我们对现有的单词和句子表示在基准数据集上进行了广泛的比较，以解决分级和二进制相似性问题。性能最好的模型在这两种情况下都优于以前的方法。
2019-05-20 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences
Drexel University（德雷塞尔大学）；Metadata Research Center（元数据研究中心）；College of Computing and Informatics（计算与信息学院）
句子嵌入方法为处理短文本结构或单词序列提供了一种强大的方法。通过将句子表示为密集的数值向量，许多自然语言处理（NLP）应用程序已经提高了它们的性能。然而，人们对句子嵌入的潜在结构却知之甚少。具体而言，研究没有涉及句子的长度和结构是否影响句子嵌入空间和拓扑。本文研究了一套针对句子和子句子嵌入空间的综合聚类和网络分析方法。结果表明，一种方法产生的最聚类嵌入。一般来说，跨度子句的嵌入比原始句子具有更好的聚类特性。研究结果对未来的句子嵌入模型和应用具有指导意义。
2021-10-02 cs.CL
Verb Argument Structure Alternations in Word and Sentence Embeddings
New York University（纽约大学）
动词出现在不同的句法环境或框架中。我们调查是否人工神经网络编码语法的区别推断动词的特质框架选择属性。我们介绍了五个数据集，统称为FAVA，包含在聚合近10K的句子标记为语法的可接受性，说明不同的口头论点结构的交替。然后，我们测试模型是否可以区分可接受的英语动词框架组合从不可接受的单独使用句子嵌入。为了获得收敛的证据，我们进一步构建了相应的词级数据集LaVA，并研究是否可以从词嵌入中提取相同的句法特征。我们的模型对某些语言变化进行了可靠的分类，但对其他语言变化则没有，这表明虽然这些表示确实编码了细粒度的词汇信息，但它是不完整的，或者很难提取。此外，词级模型和句子级模型之间的差异表明，词嵌入中存在的一些信息不会传递给下游的句子嵌入。
2018-11-27 cs.CL
Context-Aware Cross-Lingual Mapping
The George Washington University（乔治·华盛顿大学）；AWS, Amazon AI（亚马逊云服务，亚马逊人工智能（AWS, Amazon AI））
跨语言词向量通常通过拟合将双语词典的条目从源向量空间映射到目标向量空间的正交矩阵来获得。然而，词向量最常用于句子或文档级表示，这些表示被计算为词嵌入的加权平均值。在本文中，我们提出了一种替代词级映射，更好地反映了词典级跨语言的相似性。我们通过直接映射平行语料库中对齐句子的平均嵌入来将上下文纳入转换矩阵。我们还实现了跨语言映射的深度上下文词嵌入使用平行的句子与词对齐。在我们的实验中，这两种方法导致跨语言的句子嵌入，优于上下文无关的词映射在句子翻译检索。此外，词级转换可以用于词级映射，而不会损失词翻译质量。
2019-03-31 cs.CL
Learning Neural Word Salience Scores
University of Liverpool（利物浦大学）；Science and Technology Facilities Council（科学技术设施委员会）
测量一个词的显著性是许多NLP任务中必不可少的步骤。启发式的方法，如tfidf已被用于迄今估计的显着性的话。我们建议\emph{Neural Word Salience}（NWS）的分数，不像统计学，是从语料库中学习。具体来说，我们学习单词显著性分数，以便使用预先训练的词嵌入作为输入，可以准确地预测出现在句子中的单词，给定出现在该句子之前或之后的句子中的单词。句子相似性预测的实验结果表明，学习的单词显着性分数执行三倍或更好的一些国家的最先进的方法来表示句子的基准数据集上的句子相似性，而只使用一小部分的训练和预测时间所需的现有方法。此外，我们的NWS分数正相关的心理语言学措施，如具体性，和imagerity意味着一个密切的联系，由人类感知的显着性。
2017-09-04 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究所）
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列（Seq 2Seq）的模型中，解码器单向决定保留或删除单词。因此，它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此，为了避免产生不合语法的句子，解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题，我们提出了一种新的Seq 2Seq模型，语法前瞻注意力网络（SLAHAN），它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示，SLAHAN实现了最好的基于保留标记的F1，ROUGE-1，ROUGE-2和ROUGE-L得分，分别为85.5，79.3，71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外，在人工评估中，SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University（湖首大学）
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中，我们提出了一种方法，处理这个问题，将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度，所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时，它为单词和句子相似度提供了最高的相关值，优于其他类似的模型。对于单词相似度，我们得到的皮尔逊相关系数为0.8753，对于句子相似度，得到的相关系数为0.8794。
2018-02-20 cs.CL
Unsupervised Sentence Representations as Word Information Series: Revisiting TF--IDF
Universidad Nacional Autónoma de México (UNAM)（墨西哥国立自治大学）；Centro de ciencias genómicas (CCG–UNAM)（基因组科学中心（墨西哥国立自治大学））；Instituto de ingeniería (IIngen–UNAM)（工程研究所（墨西哥国立自治大学））；Laboratoire Informatique d’Avignon (LIA–UAPV)（阿维尼翁计算机科学实验室（阿维尼翁大学））；Centro de investigación en computación (CIC–IPN)（计算机研究中心（国立理工学院））
语义层次的句子表示是自然语言处理和人工智能的一个具有挑战性的任务。尽管在词嵌入（即词向量表示）方面取得了进展，但由于词之间语义交互的复杂性，捕获句子含义仍然是一个悬而未决的问题。在本文中，我们提出了一种嵌入方法，这是针对学习无监督的句子表示从未标记的文本。我们提出了一种无监督的方法，模型的一个句子作为一个加权系列的词嵌入。词嵌入的权重是通过使用由词频-逆文档频率（TF--IDF）变换提供的Shannon词熵来拟合的。模型的超参数可以根据数据的属性（例如句子长度和文本性别）进行选择。超参数选择涉及词嵌入方法和维度，以及加权模式。我们的方法提供了优于现有方法的优势：可识别模块，短期培训，（看不见的）句子表示的在线推理，以及独立于领域，外部知识和语言资源。结果表明，我们的模型在著名的语义文本相似性（STS）基准测试中的表现优于现有技术。此外，我们的模型达到了最先进的性能相比，监督和基于知识的STS系统。
2017-10-20 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学技术学院（JAIST））；Toshiba Research & Development Center, Japan（日本东芝研发中心）
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型（M-MaxLSTM-CNN），用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词，从而生成新颖的句子嵌入。然后，我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能（即，测量文本相似性、识别释义、识别文本蕴涵）。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果，M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能（例如，对齐特征、Ngram重叠、依赖性特征），并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment
WPS Qingqiu（WPS清qiu（WPS清秋））
OmniAlign是一款轻量级多语言对齐工具，采用四阶段训练流程，可同时支持词级和句子级对齐，在基准测试中表现具竞争力且泛化性良好，短文本微调可提升其对齐质量与长文本稳健性。
2026-08-20 cs.CL
Automatic classification of bengali sentences based on sense definitions present in bengali wordnet
College of Engineering and Management, Kolaghat（科拉加特工程与管理学院）；Jadavpur University, Kolkata（加尔各答贾达夫普尔大学）；Indian Statistical Institute, Kolkata（加尔各答印度统计研究所）
基于孟加拉语WordNet中可用的词的意义定义，尝试将孟加拉语句子根据其潜在的意义自动分类为不同的组。输入的句子收集从50个不同类别的孟加拉语文本语料库中开发的TDIL项目的印度政府，而信息的不同意义上的特定的歧义词汇项收集从孟加拉语WordNet。在实验的基础上，我们使用朴素贝叶斯概率模型作为一个有用的句子分类。我们已经应用该算法超过1747个句子，其中包含一个特定的孟加拉语词汇，由于其模糊的性质，能够触发不同的意义，使句子在不同的意义。在我们的实验中，我们已经取得了约84%的准确率的结果，对总的输入句子的意义分类。我们分析了那些不符合我们的实验，并影响结果的剩余句子，注意到在许多情况下，错误的句法结构和语义信息少的句子语义分类的主要障碍。本研究在自动文本分类、机器学习、信息抽取、词义消歧等方面具有一定的应用价值。
2015-08-06 cs.CL
Expect the unexpected: Harnessing Sentence Completion for Sarcasm Detection
Indian Institute of Technology Bombay（印度孟买理工学院）；Monash University（莫纳什大学）；IITB-Monash Research Academy（IITB-莫纳什研究学院）
本文将讽刺检测建模为观察词与预期词的不协调识别，利用基于双向 LSTM 的 Context2Vec 预测预期词，并提出全词与仅不协调词两种方法，验证了句子完成用于讽刺检测的潜力。
2017-07-19 cs.CL
Concatenated Power Mean Word Embeddings as Universal Cross-Lingual Sentence Representations
Technische Universität Darmstadt（达姆施塔特工业大学）
平均词嵌入是更复杂的句子嵌入技术的共同基线。然而，它们通常无法达到更复杂的模型（如InferSent）的性能。在这里，我们将平均词嵌入的概念推广到幂平均词嵌入。我们表明，不同类型的功率平均词嵌入的串联大大缩小了差距，以国家的最先进的方法单语言和大大优于这些更复杂的技术跨语言。此外，我们提出的方法优于不同的最近提出的基线，如SIF和Sent2Vec的坚实的保证金，从而构成了一个更难击败单语基线。我们的数据和代码是公开的。
2018-09-12 cs.CL
Bag-of-Words as Target for Neural Machine Translation
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
一个句子可以翻译成不止一个正确的句子。然而，现有的神经机器翻译模型大多只使用其中一个正确的翻译作为目标，而其他正确的句子在训练阶段被当作不正确的句子进行惩罚。由于一个句子的大多数正确的翻译共享相似的词袋，因此可以通过词袋来区分正确的翻译和错误的翻译。在本文中，我们提出了一种在训练阶段同时使用句子和词袋作为目标的方法，以鼓励模型生成训练集中没有出现的潜在正确句子。我们在一个汉英翻译数据集上对我们的模型进行了评估，实验表明我们的模型比强基线的BLEU得分高出4.55。
2018-05-13 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
On the Dimensionality of Sentence Embeddings
Tencent AI Lab（腾讯人工智能实验室）
针对句子嵌入维度探索不足的问题，提出分离优化编码器与池化器的两步训练方法，显著提升了低维句子嵌入在多项任务上的性能。
2023-10-23 cs.CL
Unsupervised Sentence Representation Learning with Frequency-induced Adversarial Tuning and Incomplete Sentence Filtering
Jilin University（吉林大学）
针对预训练语言模型因词频导致嵌入各向异性，提出SLT-FAI框架，通过频率诱导对抗调优和不完整句子过滤，实现频率不变嵌入空间，提升无监督句子表示质量，优于现有基线。
2023-05-15 cs.CL
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
关于隐含关系的推理（例如，词对之间的释义、常识、百科全书）对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对，隐含地表示背景知识，这种关系。我们的成对嵌入被计算为单词表示的组合函数，这是通过最大化两个单词共同出现的上下文的逐点互信息（PMI）来学习的。我们将这些表示添加到现有推理模型的跨句注意力层（例如，QA的Biorean，NLI的ESIM），而不是扩展或替换现有的词嵌入。实验表明，在最近发布的SQuAD 2.0上的增益为2.7%，在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化，在对抗SQuAD数据集上获得约6-7%的收益，在Glockner et al.（2018）的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
Parameter-free Sentence Embedding via Orthogonal Basis
Stanford University（斯坦福大学）；Microsoft（微软）
我们提出了一个简单而强大的非参数化的方法来建立句子表示。受几何理论中Gram-Schmidt过程的启发，我们构造了一个词与其周围语境在句子中所构成的子空间的正交基。我们基于两个方面对句子中的词的语义进行建模。一个是它与已经被它的上下文词所覆盖的词向量子空间的相关性。另一个是这个词的新的语义，这将被引入作为一个新的基向量垂直于这个现有的子空间。基于这个动机，我们开发了一种基于正交基的创新方法，将预训练的词嵌入组合成句子表示。这种方法需要零参数，以及高效的推理性能。我们在11个下游NLP任务上评估了我们的方法。与非参数化的替代方案相比，我们的模型显示出优越的性能，并且与依赖于大量标记数据或延长训练时间的其他方法相比具有竞争力。
2019-12-06 cs.CL
Vec2Sent: Probing Sentence Embeddings with Natural Language Generation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们反思黑盒句子嵌入，有条件地从他们的目标是检索潜在的离散句子。我们认为这是一个新的无监督探测任务，并表明它与下游任务的性能相关。我们还说明了从不同编码器生成的语言是如何不同的。我们应用我们的方法从句子嵌入生成句子类比。
2020-11-01 cs.CL
Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts
CPqD
本文的动机是自动化的神经心理学测试，涉及话语分析的复述叙述的患者有潜在的认知障碍。在这种情况下，语音转录中的句子边界检测的任务是重要的，因为话语分析涉及自然语言处理工具的应用，例如标记器和解析器，其依赖于句子作为处理单元。在本文中，我们的目的是验证嵌入感应方法最适合句子边界检测任务，特别是它是否是那些被提出来捕捉语义，句法或形态相似性。
2017-08-15 cs.CL
Automatic Detection of Vague Words and Sentences in Privacy Policies
University of Central Florida（中佛罗里达大学）
网站隐私政策是用户衡量公司如何收集、使用和共享其个人数据的唯一最重要的信息来源。然而，隐私政策往往是模糊的，人们很难理解的内容。它们的不透明性对用户和政策监管者都构成了重大挑战。在本文中，我们试图确定隐私政策中的模糊内容。我们构建了第一个人工标注的模糊词语和句子语料库，并对自动模糊检测进行了实证研究。特别是，我们调查上下文感知和上下文不可知模型预测模糊的话，并探索分类器生成对抗网络的特点句子的模糊性。我们的实验结果证明了所提出的方法的有效性。最后，本文提出了解决隐私策略不合理性和提高隐私策略可用性的建议。
2018-08-28 cs.CL
Paraphrase Thought: Sentence Embedding Module Imitating Human Language Recognition
Korea University（高丽大学）
句子嵌入是自然语言处理中的一个重要研究课题。为了提高各种自然语言处理任务（如机器翻译和文档分类）的性能，必须生成一个能够充分反映句子语义的嵌入向量。到目前为止，已经提出了各种句子嵌入模型，并且它们的可行性已经通过在嵌入之后的任务（诸如情感分析和句子分类）上的良好性能而被证明。然而，因为句子分类和情感分析的性能可以通过使用简单的句子表示方法来增强，所以基于这些任务的良好性能，声称这些模型完全反映了句子的含义是不够的。本文受人类语言识别的启发，提出了语义连贯性的概念，一个好的句子嵌入方法应该满足这一概念：相似的句子应该在嵌入空间中相互靠近。然后，我们提出了释义-思维（P-thought）模型，以尽可能地追求语义连贯。在MS COCO和STS benchmark两个数据集上的实验结果表明，P-thought模型的性能优于基准句子嵌入方法。
2018-10-15 cs.CL
Fast Neural Chinese Word Segmentation for Long Sentences
Shanghai Jiao Tong University（上海交通大学）
近年来，神经网络模型在中文分词中取得了与传统分词模型相当的性能。然而，大多数方法遇到的计算效率低，特别是对于长句，因为增加的模型复杂度和较慢的解码器。本文提出了一种简单的神经分割器，它直接标记相邻字符之间的间隙存在，以减轻现有的缺点。我们的分割器是完全端到端的，能够非常快速地执行分割。我们还显示了不同的标记集的性能差异。实验表明，我们的分割器可以提供与国家的最先进的性能相当。
2019-01-29 cs.CL
With Measured Words: Simple Sentence Selection for Black-Box Optimization of Sentence Compression Algorithms
句子压缩是生成给定句子的较短但合乎语法的版本的任务，保留原始句子的本质。本文提出了一个黑盒优化压缩（B-BOC）：给定一个黑盒压缩算法，并假设不是所有的句子都需要压缩-找到最好的候选压缩，以最大限度地提高压缩率和质量。给定所需的压缩比，我们考虑两种情况：（i）单句压缩，以及（ii）句子序列压缩。在第一种情况下，我们的优化器经过训练，以预测每个句子在满足指定比率要求的同时可以压缩的程度。在后者中，将期望的压缩比应用于句子序列（例如，一个段落）作为一个整体，而不是在每一个单独的句子。为了实现这一目标，我们使用B-BOC为每个句子分配最佳压缩比，然后将其转换为背包问题，我们使用有界动态规划解决。我们在三个数据集上对这两种情况下的B-BOC进行了评估，表明与直接应用其他压缩算法相比，我们的优化器提高了准确性和Rouge-F1分数。
2021-01-25 cs.CL
Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment
The University of Tokyo（东京大学）
针对低资源语言跨语言词表征对齐不足的问题，本文提出基于现成词对齐模型的显式词对齐框架，结合三项训练目标，显著提升低资源句子嵌入并保持高资源任务性能。
2024-04-03 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
A Strong Baseline for Learning Cross-Lingual Word Embeddings from Sentence Alignments
University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
虽然跨语言词嵌入近年来得到了广泛的研究，不同算法之间的定性差异仍然模糊。我们观察到，算法是否使用特定的特征集（句子ID）占这些算法之间的显着性能差距。传统的对齐算法（如IBM Model-1）也使用此功能集，这些算法在各种基准测试中表现出与最先进的嵌入算法相似的性能。总的来说，我们观察到，利用句子ID特征空间的不同算法方法会导致类似的性能。本文得出了嵌入和对齐文献之间的经验和理论上的相似之处，并建议增加额外的信息来源，这超出了双语词典对齐语料库的传统信号，可能会大大提高跨语言词嵌入，未来的基线至少应该考虑到这些功能。
2017-01-09 cs.CL
Linear Cross-Lingual Mapping of Sentence Embeddings
Primer Technologies Inc.（普里默技术公司）
本文假设句子语义在翻译中应更好保留，提出利用简单的线性跨语言映射改进多语言句子嵌入，并将偏离正交条件的程度作为嵌入缺陷的度量。
2024-06-27 cs.CL
Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文从理论和实验两方面揭示，基于对比损失微调的句编码器会根据信息论量隐式地对词进行加权，更具信息量的词会获得更大权重。
2023-10-24 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University（罗格斯大学）
虽然词向量表征的重要性质已被广泛研究，但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中，我们调查在何种程度上常用的句子向量表示空间，以及反映某些类型的语义。我们提出了一些计划，以诱导评估数据，词汇类比数据的基础上，以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法，包括基于BERT风格的上下文嵌入。我们发现，不同的模型有很大的不同，在他们的能力，以反映这种不确定性。
2020-03-09 cs.CL
A Novel Word Pair-based Gaussian Sentence Similarity Algorithm For Bengali Extractive Text Summarization
Institute of Information Technology（信息技术研究所）；University of Dhaka（达卡大学）；Centre for Advanced Research in Science（高级科学研究中心）
针对孟加拉语抽取式文本摘要现有方法语义关系表达不足的问题，提出基于词对的高斯句相似度（WGSS）算法，结合谱聚类与TF-IDF排序，在多个数据集上平均ROUGE分数优于现有模型43.2%，还构建新数据集并可扩展至其他低资源语言。
2024-11-27 cs.CL
Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
语义合理性的自动评价是一项重要而又具有挑战性的任务，现有的自动技术不能很好地识别句子的语义是否合理。基于语言模型的方法不是用合理性来衡量句子，而是用共性来衡量句子。基于与人类书面句子相似性的方法在没有人类书面参考文献的情况下会失效。本文提出了一种新的模型--义素词匹配神经网络（SWM-NN），利用义素知识库知网来解决语义合理性评价问题。其优点是，我们的模型可以利用一个适当的义位组合来表示一个词在特定的上下文中的细粒度的语义含义。我们使用细粒度的语义表示来帮助模型学习词之间的语义依赖。为了评估所提出的模型的有效性，我们建立了一个大规模的合理性评估数据集。在该数据集上的实验结果表明，该模型比竞争基线的准确率提高了5.4%。
2018-09-11 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Pitfalls in the Evaluation of Sentence Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）
深度学习模型在不同的NLP任务中不断打破新的记录。与此同时，他们的成功暴露了模型评估的弱点。在这里，我们汇编了评估句子嵌入的几个关键陷阱，这是目前非常流行的NLP范式。这些陷阱包括不同大小的嵌入的比较，嵌入的规范化，以及传输和探测任务之间的低（和发散）相关性。我们的动机是挑战目前的评价句子嵌入，并提供一个易于访问的参考，为未来的研究。基于我们的见解，我们还推荐了更好的实践，以便将来更好地评估句子嵌入。
2019-06-04 cs.CL
A Critique of the Smooth Inverse Frequency Sentence Embeddings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nazarbayev University（纳扎尔巴耶夫大学）
我们批判性地回顾了Arora，Liang和Ma（2017）的平滑逆频率句子嵌入方法，并在其设置，推导和评估中表现出不一致性。
2019-09-30 cs.CL
One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Toshiba Corporation（东芝公司）
DualCSE通过对比学习为句子生成显式和隐式语义嵌入，提升信息检索和文本分类任务性能。
2026-01-15 cs.CL
CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
CASE通过条件感知嵌入方法提升基于LLM的文本在条件语义相似性任务中的表现。
2026-02-02 cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University（斯坦福大学）；Salesforce Research（Salesforce 研究院）
句子或文档的无监督向量表示是许多语言任务（如情感分类）的主要构建块。然而，目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设，在词嵌入空间的距离是同样重要的，无论上下文。我们引入上下文显着性（CoSal），一个词的重要性，使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类，需要很少的计算来评估，只需要一个协方差计算来"训练“。“CoSal支持小上下文，上下文外的单词，在大多数基准测试中优于SkipThought，在所有基准测试中击败tf-idf，并与无监督的最先进技术竞争。
2020-11-02 cs.CL
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool（利物浦大学）
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题，评估无监督降维方法，发现PCA等能降低近50%维度且不损失性能，甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo（东京大学）；Imperial College London（伦敦帝国学院）；The University of Liverpool（利物浦大学）
本文提出基于频率的无监督成分句法解析器span-overlap，利用PAS等价句子集合中成分对应频繁词序列的特性，通过最大化span-overlap分数识别成分结构，在十种语言中的八种上达到最先进水平，并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个简单而有效的方法来扩展现有的句子嵌入模型到新的语言。这允许从以前的单语模型创建多语言版本。训练基于这样的想法，即翻译的句子应该映射到向量空间中与原始句子相同的位置。我们使用原始的（单语）模型来生成源语言的句子嵌入，然后在翻译的句子上训练一个新的系统来模仿原始模型。与其他训练多语言句子嵌入的方法相比，这种方法有几个优点：很容易将现有的模型与相对较少的样本扩展到新的语言，更容易确保向量空间的期望属性，并且训练的硬件要求较低。我们证明了我们的方法对来自不同语系的50多种语言的有效性。将句子嵌入模型扩展到400多种语言的代码是公开的。
2020-10-05 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University（海德堡大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Waterloo（滑铁卢大学）
自动句子摘要生成句子的较短版本，同时保留其最重要的信息。一个好的摘要的特点是语言流畅，与源句的信息重叠度高。我们在一个无监督的目标函数，包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外，我们证明，通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中，我们强调，未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL
In Search for Linear Relations in Sentence Embedding Spaces
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个介绍性的调查连续空间向量表示的句子。我们获得对非常相似的句子不同，只有一个小的变化（如改变一个名词，添加一个形容词，名词或标点符号）从数据集自然语言推理使用一个简单的模式方法。我们研究如何在句子文本中这样一个小的变化会影响其在连续空间中的表示，以及如何通过一些流行的句子嵌入模型来反映这种变化。我们发现，一些嵌入的向量差异实际上反映了句子中的微小变化。
2019-10-08 cs.CL
MGNC-CNN: A Simple Approach to Exploiting Multiple Word Embeddings for Sentence Classification
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一种新颖的，简单的卷积神经网络（CNN）架构-多组范数约束CNN（MGNC-CNN），它利用多组词嵌入进行句子分类。MGNC-CNN从输入嵌入集中独立提取特征，然后在网络的倒数第二层将这些特征连接起来，形成最终的特征向量。然后，我们采用了一种组正则化策略，该策略对与从各个嵌入集生成的子分量相关联的权重进行差分惩罚。该模型比类似的替代架构简单得多，并且需要的训练时间大大减少。此外，它是灵活的，因为它不要求输入词嵌入具有相同的维度。我们证明了MGNC-CNN始终优于基线模型。
2016-03-27 cs.CL
Multilingual Sentence Transformer as A Multilingual Word Aligner
Shanghai University of Finance and Economics（上海财经大学）；Southern University of Science and Technology（南方科技大学）
多语言预训练语言模型（mPLM）在多语言词对齐归纳中表现出了其有效性。然而，这些方法通常从mBERT或XLM-R开始。在本文中，我们调查是否多语言句子Transformer LaBSE是一个强大的多语言词对齐。这个想法是不平凡的，因为LaBSE被训练来学习语言不可知的单词级嵌入，而对齐提取任务需要更细粒度的单词级嵌入是语言不可知的。我们证明了香草LaBSE优于其他mPLM目前使用的对齐任务，然后提出微调LaBSE并行语料库进一步改进。七个语言对的实验结果表明，我们最好的对齐优于以前的国家的最先进的模型的所有品种。此外，我们的对齐器在单个模型中支持不同的语言对，甚至在微调过程中不会出现的zero-shot语言对上实现了新的最先进技术。
2023-01-28 cs.CL
Exploring sentence informativeness
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎-萨克雷大学）；Société Générale（法国兴业银行）
这项研究是对信息量概念的初步探索-一个句子提供了多少关于它所包含的单词的信息-以及它对从稀缺数据中构建高质量单词表征的潜在好处。我们提出了几个层次的分类器来预测信息量，我们执行一组句子的手动注释。我们的结论是，这两种措施对应于不同的概念的信息。然而，我们的实验表明，使用分类器的预测训练词嵌入对嵌入质量有影响。
2019-07-22 cs.CL
Compositional Sentence Representation from Character within Large Context Text
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文描述了一个层次组合递归网络（HCRN），它包括一个3级层次的组合模型：字符，单词和句子。该模型的目的是克服两个问题的基础上表示一个句子的组成词序列。第一个是词嵌入中的数据稀疏问题，另一个是没有使用句间依赖。在HCRN中，单词表示是从字符中构建的，从而解决了数据稀疏性问题，并且在句子组成的级别上将句间依赖嵌入到句子表示中。我们采用分层学习方案，以减轻以端到端方式学习深度分层递归网络的优化困难。HCRN的定量和定性评估的对话行为分类任务。特别是，具有句间依赖性的句子表示能够捕获句子的隐式和显式语义，显着提高性能。最后，HCRN在SWBD-DAMSL数据库上的对话行为分类测试出错率为22.7%，达到了最先进的性能。
2016-06-03 cs.CL
Relational Sentence Embedding for Flexible Semantic Matching
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对现有句子嵌入难以捕捉句子间多种语义关系的问题，提出关系型句子嵌入RSE范式，通过关系转换操作与孪生编码器学习关系嵌入，在19个数据集上优于现有先进方法。
2023-06-08 cs.CL
Evaluating semantic models with word-sentence relatedness
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
语义文本相似度（STS）系统被设计用于编码和评估单词、短语、句子和文档之间的语义相似度。评估这些系统中编码的语义信息的质量或真实性的一种方法是与人类判断进行比较。开发了一个用于评估语义模型的数据集，由775个英语单词-句子对组成，每个单词-句子对由参与最大差异缩放（MDS）任务的人类评分员注释语义相关性，以及更快的替代任务。作为这种相关性数据的一个示例应用，将基于行为的相关性与通过四种现成的STS模型计算的相关性进行了比较：n-gram，潜在语义分析（LSA），Word 2 Vec和UMBC Ebiquity。一些STS模型捕捉到了收集到的人类判断中的大部分差异，但它们对参与者处理和考虑的含义和蕴涵并不敏感。所有的文本刺激和判断数据都是免费提供的。
2017-01-03 cs.CL
