Hamming Sentence Embeddings for Information Retrieval
在检索应用中，二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构，这是通过最小化重建误差训练。而不是采用原来的实值嵌入，我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中，我们表明，我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入（Sent 2 Vec，InferSent，手套-BoW），在压缩比高达256：1。我们进一步证明了我们的模型强烈地去相关输入特征，并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
A Comparative Analysis of Retrieval-Augmented Generation Techniques for Bengali Standard-to-Dialect Machine Translation Using LLMs
Department of Computer Science and Engineering（计算机科学与工程系）；BRAC University（BRAC大学）
本文提出并比较了两种RAG管道，用于孟加拉语标准语到方言的机器翻译，展示了句子对管道在低资源环境下优于转录管道的性能，且小型模型可超越大模型。
2025-12-16 cs.AI cs.CL cs.IR
Comparative Analysis of Contextual Relation Extraction based on Deep Learning Models
Pondicherry University（本地治里大学）
本文针对现有机器学习方法在复杂句子上关系抽取效果不佳的问题，采用混合深度学习模型从多句上下文中有效抽取语义关系，并对多种深度学习模型进行了对比分析。
2023-09-13 cs.AI cs.CL cs.LG
Learning Analogy-Preserving Sentence Embeddings for Answer Selection
Technische Universität Darmstadt（达姆施塔特工业大学）
答案选择旨在从一组可能正确的答案中识别给定问题的正确答案。与以前的作品，通常集中在一个问题和它的答案之间的语义相似性，我们的假设是，问答对往往是在类比关系。使用类比推理作为我们的用例，我们提出了一个框架和一个神经网络架构，用于学习专用的句子嵌入，保留语义空间中的类比属性。我们评估了所提出的方法在基准数据集的答案选择，并证明我们的句子嵌入确实捕捉类比属性比传统的嵌入，类比为基础的问答优于可比的相似性为基础的技术。
2019-10-11 cs.CL cs.LG
A Case Study to Reveal if an Area of Interest has a Trend in Ongoing Tweets Using Word and Sentence Embeddings
在自然语言处理领域，从文本中提取信息抽取一直是众多研究者的目标。许多不同的技术已经被应用，以揭示一条推文可能有的观点，从而了解多达280个字符的小文字的情绪。除了弄清楚推文的情绪之外，研究还可以专注于发现推文与特定兴趣领域的相关性，这构成了本研究的目的。为了揭示一个感兴趣的领域在正在进行的推文中是否有趋势，我们提出了一种易于应用的自动化方法，其中显示每日推文语料库与代表我们感兴趣领域的目标词之间相似性的每日平均相似性得分是通过使用基于朴素相关性的技术来计算的，而无需训练任何机器学习模型。每日平均相似度得分主要基于余弦相似度和多语言通用句子编码器计算的词/句子嵌入，并显示了关于某个感兴趣领域的推文的主要意见流，这证明了通过使用本研究中提出的方法可以很容易地几乎实时的捕获Twitter上特定主题的持续趋势。我们还比较了使用词与句子嵌入的有效性，同时应用我们的方法，并意识到，两者给出几乎相同的结果，而使用词嵌入需要更少的计算时间比句子嵌入，因此更有效。本文将首先介绍有关基础知识的背景信息，然后继续解释拟议的方法，最后解释结果并总结调查结果。
2021-10-02 cs.AI cs.CL
Sentence Embeddings for Russian NLU
National Research University Higher School of Economics（国立研究型大学高等经济学院）
我们调查的性能句子嵌入模型的几个任务的俄语。在我们的比较中，我们包括多项选择问答，下一句预测和释义识别等任务。我们采用FastText嵌入作为基线，并将其与ELMo和BERT嵌入进行比较。我们进行了两个系列的实验，使用无监督（即，仅基于相似性度量）和用于任务的监督方法。最后，我们提出了多项选择问答和下一句预测在俄罗斯的数据集。
2019-10-29 cs.CL cs.LG
Comparative analysis of word embeddings in assessing semantic similarity of complex sentences
Lakehead University（湖首大学）
语义文本相似性是自然语言处理领域的一个开放性研究课题。在这一领域已经进行了广泛的研究，最近基于transformer的模型在现有的基准数据集（如STS数据集和SICK数据集）中取得了近乎完美的结果。在本文中，我们研究了这些数据集中的句子，并分析了各种词嵌入相对于句子复杂度的敏感性。我们建立了一个复杂的句子数据集，由50个句子对与15个人类注释器提供的相关语义相似度值。可读性分析是为了突出现有基准数据集和建议数据集中句子复杂度的增加。此外，我们对现有基准数据集和建议数据集上的各种词嵌入和语言模型的性能进行了比较分析。结果表明，句子复杂度的增加对嵌入模型的性能有显着影响，导致Pearson和Spearman相关性降低10-20%。
2021-07-09 cs.CL cs.IR
Comparing Apples to Apples: Generating Aspect-Aware Comparative Sentences from User Reviews
UC, San Diego（加州大学圣地亚哥分校）；UC San Diego（加州大学圣地亚哥分校）
针对用户挑选同类产品效率低的问题，提出含商品编码、自回归比较生成、个性化解码的transformer三组件模型，可从商品评论生成相关真实的比较句，辅助用户选品。
2023-07-23 cs.AI cs.CL cs.IR
Comparative Analysis of Document-Level Embedding Methods for Similarity Scoring on Shakespeare Sonnets and Taylor Swift Lyrics
本研究对比了TF-IDF、Word2Vec和BERT在莎士比亚十四行诗与泰勒·斯威夫特歌词上的文档相似度评分表现，发现TF-IDF依赖词汇重叠，Word2Vec语义泛化更佳，而BERT因缺乏领域微调表现较差。
2024-12-23 cs.CL cs.IR
Multi-layered graph-based multi-document summarization model
University of Prizren（普里兹伦大学）
多文档摘要是自动生成给定文档集合的压缩版本的过程。最近，基于图的模型和排序算法已经被抽取文档摘要社区积极研究。虽然大多数工作集中在同质连接的句子和异质连接的文件和句子（如句子相似度加权的文件重要性），在本文中，我们提出了一种新的3层图模型，不仅强调句子和文档级别的关系，但也下句子级别的关系（如句子相似度的一部分）的影响。
2014-05-17 cs.CL cs.IR
Aligning Cross-lingual Sentence Representations with Dual Momentum Contrast
Yuanfudao AI Lab（猿辅导AI实验室）
在本文中，我们建议将来自不同语言的句子表示对齐到一个统一的嵌入空间中，其中语义相似性（跨语言和单语言）可以用一个简单的点积计算。预训练的语言模型通过翻译排名任务进行微调。现有工作（Feng等人，2020）使用同一批中的句子作为否定词，这可能会受到容易否定的问题的影响。我们采用MoCo（He等人，2020年），进一步提高服务质量。实验结果表明，我们的模型产生的句子表示在几个任务上达到了最新的水平，包括Tatoeba en-zh相似性搜索（Artetxe和Schwenk，2019 b），BUCC en-zh双文本挖掘和7个数据集的语义文本相似性。
2021-09-01 cs.CL cs.IR
A comparative study of root-based and stem-based approaches for measuring the similarity between arabic words for arabic text mining applications
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
任何阿拉伯语文本挖掘应用程序都需要对单词中包含的语义信息进行表示。更确切地说，其目的是更好地考虑由这些词的共现频率表示的词之间的语义依赖性。已经有许多建议，以计算相似性的基础上，他们的分布在上下文中的话。本文对两种预处理技术应用于阿拉伯语语料库的效果进行了比较和对比：基于根的（Stemming）和基于Stem-based（光词干）方法，用于利用众所周知的抽象模型-潜在语义分析（LSA）-利用各种各样的距离函数和相似性度量，诸如欧几里得距离、余弦相似性、Jaccard系数，Pearson相关系数实验结果表明，一方面，语料库的多样性使结果更加准确;另一方面，基于词干的方法优于基于词根的方法，因为后者影响了词义。
2012-12-14 cs.CL cs.IR
Sentence based semantic similarity measure for blog-posts
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
博客-在线数字日记一样的应用程序在Web 2.0开辟了新的和简单的方式来表达意见，想法，和喜欢不喜欢的每一个互联网用户的世界。毫无疑问，博客圈拥有最大的用户生成内容知识库。这种知识的潜力仍有待探索。从这种新的类型中发现知识是相当困难和具有挑战性的，因为它完全不同于其他流行的Web应用类型，如万维网（WWW）。博客文章不像网络文档，体积小，因此缺乏上下文，包含宽松的语法结构。因此，标准的文本相似性度量无法提供良好的结果。在本文中，专门的要求比较一对博客职位进行了彻底的调查。在此基础上，提出了一种面向句子的博客文章语义相似度度量算法。我们将此算法应用于巴基斯坦的政治博客圈的一个子集上，对政治领域不同问题的博客进行聚类，并识别出有影响力的博客。
2012-01-10 cs.AI cs.IR
Using Sentence Embeddings and Semantic Similarity for Seeking Consensus when Assessing Trustworthy AI
Goethe University Frankfurt（法兰克福大学）；Intel Labs（英特尔实验室）；Arcada University of Applied Sciences（阿卡达应用科学大学）；Seoul National University（首尔国立大学）
评估人工智能系统的可信度需要来自许多不同学科的知识。这些学科之间不一定共享概念，可能使用具有不同含义的单词，甚至以不同的方式使用相同的单词。此外，来自不同学科的专家可能不知道其他学科中容易使用的专业术语。因此，评估过程的一个核心挑战是，确定不同学科的专家何时谈论同一问题，但使用不同的术语。换句话说，问题是将问题描述分组（也称为问题描述）。问题）具有相同的语义含义，但使用略有不同的术语进行描述。在这项工作中，我们展示了我们如何利用自然语言处理的最新进展，即句子嵌入和语义文本相似性，来支持这个识别过程，并弥合跨学科专家团队的沟通差距，评估医疗保健中使用的人工智能系统的可信度。
2022-08-09 cs.AI cs.IR
beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems
针对现有句子Transformer模型未利用推荐系统交互数据的问题，本文提出beeFormer框架用交互数据训练句子Transformer，实现跨数据集知识迁移，性能优于语义相似性模型与传统协同过滤，为通用领域无关推荐文本表示模型训练提供可能。
2024-10-08 cs.IR
A comparative analysis of embedding models for patent similarity
Bordeaux School of Economics（波尔多经济学院）；Université de Bordeaux（波尔多大学）
本文比较了不同专利专用预训练嵌入模型在专利相似性任务上的性能，发现提出的Patent SBERT-adapt-ub模型优于现有最先进水平，并指出上下文嵌入的性能优势可能源于训练方式而非架构本身。
2024-03-25 cs.CL cs.IR cs.LG
INESC-ID @ eRisk 2025: Exploring Fine-Tuned, Similarity-Based, and Prompt-Based Approaches to Depression Symptom Identification
INESC-ID；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））
本文针对 eRisk 2025 抑郁症状检索任务，将受限标注转化为二分类问题，通过微调基础模型并结合合成数据与集成方法，在官方评估中取得第一。
2025-06-03 cs.CL cs.IR cs.LG
