An Unsupervised Approach for Aspect Category Detection Using Soft Cosine Similarity Measure
University of Tehran(德黑兰大学)
方面类别检测是基于方面的情感分析的一个重要且具有挑战性的子任务。给定一组预定义的类别,该任务旨在检测在给定的评论句中隐含或明确指示的类别。有监督的机器学习方法可以很好地完成这个子任务。注意,这些方法的性能取决于标记的训练数据的可用性,而获得标记的训练数据通常是困难且昂贵的。此外,大多数这些监督方法需要特征工程来实现。在本文中,我们提出了一种无监督的方法来解决方面类别检测任务,而不需要任何功能工程。我们的方法利用集群的未标记的评论和软余弦相似性度量来完成方面类别检测任务。在SemEval-2014餐馆数据集上的实验结果表明,所提出的无监督方法的性能大大优于几个基线。
2019-06-21 cs.CL
Draft on the Fly: Adaptive Self-Speculative Decoding using Cosine Similarity
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Université de Montréal(蒙特利尔大学);DIRO(信息与运筹学系(注:DIRO是蒙特利尔大学的信息与运筹学系,此处按机构级别提取为系级,但根据要求提取到学院/大学级别,故调整为蒙特利尔大学))
针对大语言模型推理加速,本文提出基于余弦相似度的自适应自推测解码方法,无需微调或黑盒优化即可按输入上下文动态生成草稿模型,性能媲美现有SOTA且真正即插即用。
2024-10-01 cs.CL
Problems with Cosine as a Measure of Embedding Similarity for High Frequency Words
Stanford University(斯坦福大学);University of Michigan(密歇根大学)
上下文嵌入的余弦相似性用于许多NLP任务(例如,QA、IR、MT)和指标(例如,BERTScore)。在这里,我们发现系统的方式,在BERT嵌入的余弦估计的字的相似性被低估,并跟踪这种效果的训练数据频率。我们发现,相对于人类的判断,余弦相似性低估了频繁的话与其他实例相同的词或其他词跨上下文的相似性,即使在控制多义词和其他因素。我们推测,这种低估的相似性高频率的单词是由于高,低频率的单词的代表性几何的差异,并提供了一个正式的二维情况下的参数。
2022-05-10 cs.AI cs.CL
Beyond Cosine Similarity: Zero-Initialized Residual Complex Projection for Aspect-Based Sentiment Analysis
School of Economics and Management, Xidian University(西安电子科技大学经济管理学院)
本文提出零初始化残差复数投影与反碰撞掩码角度损失,通过复数空间分离情感极性并增强类别结构一致性,实验表明在ASAP数据集上达到89.23%的Macro-F1分数。
2026-05-14 cs.CL
Natural Language Processing for Aligning Readings with Learning Objectives and Assessing Topic Balance in Dental Education
本研究提出一种结合PubMedBERT、余弦相似度、NLI及主题建模的NLP工作流,用于牙科教育中对齐阅读材料与学习目标,经测试可提升阅读材料选择的准确率,支持循证课程整理。
2026-10-14 cs.CL
A Rank-Based Similarity Metric for Word Embeddings
University of California Santa Barbara(加州大学圣巴巴拉分校);Aix-Marseille University(艾克斯-马赛大学);Singapore University of Technology and Design(新加坡科技设计大学)
词嵌入最近已经成为NLP中表示词义的标准。词对之间的语义相似度已经成为这些表示的最常见的评估基准,向量余弦通常被用作唯一的相似度度量。在本文中,我们报告的实验与排名为基础的度量的WE,它执行的相似性估计和超越它在最近推出的离群点检测和具有挑战性的任务,从而表明,基于排名的措施可以提高聚类质量的向量余弦。
2018-05-04 cs.CL
Comparing in context: Improving cosine similarity measures with a metric tensor
Utrecht University(乌得勒支大学)
余弦相似性是一种广泛使用的预训练词嵌入的相关性度量,该词嵌入是在语言建模目标上训练的。WordSim-353和SimLex-999等数据集根据人类注释者对单词的相似程度进行评级,因此通常用于评估语言模型的性能。因此,对单词相似性任务的任何改进都需要改进的单词表示。在本文中,我们建议使用扩展余弦相似性度量来提高该任务的性能,并获得可解释性。我们探讨的假设,这种方法是特别有用的,如果单词相似性对共享相同的上下文,不同的上下文相似性措施可以学习。我们首先使用Richie et al.(2020)的数据集来学习情境化指标,并将结果与使用标准余弦相似性度量获得的基线值进行比较,这始终显示出改进。我们还训练了SimLex-999和WordSim-353的上下文相似性度量,将结果与相应的基线进行比较,并将这些数据集用作在上下文数据集上学习的所有上下文相似性度量的独立测试集,获得了一些测试的积极结果。
2022-03-28 cs.CL cs.LG
Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity
Pontificia Universidad Católica de Chile(天主教智利大学);National Center for Artificial Intelligence (CENIA)(人工智能国家中心);Universidad de Chile(智利大学)
本文指出余弦相似度不适合作为评估层移除影响的指标,提出基于模型准确率下降的实际指标,以更准确地评估层重要性,改进模型压缩策略。
2026-05-13 cs.CL cs.LG
Automatic essay scoring: leveraging Jaccard coefficient and Cosine similaritywith n-gram variation in vector space model approach
Universitas Trunojoyo Madura(特鲁诺佐约大学);Minhaj University(明哈吉大学)
本研究比较Jaccard系数与余弦相似度在向量空间模型中结合n-gram变体进行自动作文评分,发现余弦相似度更优且一元分词RMSE最低。
2025-10-17 cs.CL cs.CY cs.SE
Cosine-Similarity Routing with Semantic Anchors for Interpretable Mixture-of-Experts Language Models
Department of Software Systems, Uzhhorod National University(软件系统系,乌日霍罗德国立大学)
本文提出语义共振架构(SRA),通过令牌表示与可学习语义锚点之间的余弦相似性路由令牌到专家,使路由决策可追溯至锚令牌相似度得分。实验表明余弦路由在 perplexity 上与标准线性路由相当,同时减少死专家比例并提升子令牌一致性。
2026-04-12 cs.AI cs.CL
A Comparison of Semantic Similarity Methods for Maximum Human Interpretability
Tribhuwan University(特里布万大学)
在任何相似性度量中包含语义信息提高了相似性度量的效率,并提供了人类可解释的结果以供进一步分析。仅关注与文本的词相关的特征的相似度计算方法将给出不太准确的结果。本文提出了三种不同的方法,不仅关注文本的词,但也纳入文本的语义信息在其特征向量和计算语义相似度。这些方法是基于语料库和基于知识的方法,这是:余弦相似度使用tf-idf向量,余弦相似度使用词嵌入和软余弦相似度使用词嵌入。在这三种方法中,使用tf-idf向量的余弦相似度在发现短新闻文本之间的相似性方面表现最好。该方法给出的相似文本易于理解,可直接用于其他信息检索应用。
2019-10-31 cs.CL cs.IR cs.LG
The Document Vectors Using Cosine Similarity Revisited
National Research University Higher School of Economics(国家研究型高等经济学院);Samsung Research Center Russia(三星俄罗斯研究中心);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
\citet{thongtan-phienthrakul-2019-sentiment}报告了IMDB电影评论数据集上当前最先进的测试准确率(97.42\%),并通过在他们的论文中提出的使用余弦相似性(DV-ngrams-cosine)的文档向量和通过朴素贝叶斯权重缩放的Bag-of-N-gram(BON)向量上训练的逻辑回归分类器实现。虽然大型的基于transformer的预训练模型已经在许多数据集和任务中显示了SOTA结果,但上述模型并没有被它们超越,尽管它更简单,并且只在IMDB数据集上进行了预训练。在本文中,我们描述了这个模型的评估过程中的一个错误,当我们试图分析它在IMDB数据集上的出色性能时发现了这个错误。我们进一步表明,以前报道的97.42%的测试准确度是无效的,应纠正为93.68%。我们还分析了不同数量的训练数据(IMDB数据集的子集)的模型性能,并将其与基于Transformer的RoBERTa模型进行比较。结果表明,虽然RoBERTa对于较大的训练集具有明显的优势,但当标记的训练集非常小时(10或20个文档),DV-ngrams-cosine的性能优于RoBERTa。最后,我们引入了一种基于朴素贝叶斯权重的子采样方案用于DV-ngrams-cosine的训练过程,这使得训练速度更快,质量更好。
2022-05-26 cs.AI cs.CL
Mean-Pooled Cosine Similarity is Not Length-Invariant: Theory and Cross-Domain Evidence for a Length-Invariant Alternative
Birla Institute of Technology(比拉理工学院)
研究指出均值池化余弦相似度在现代Transformer表示中并非长度不变,通过实验验证了其在跨语言Python接近性中的解释力,并提出中心核对齐(CKA)作为更优的替代方法。
2026-05-08 cs.CL cs.LG
Correlation Coefficients and Semantic Textual Similarity
Babylon Health(巴比伦健康)
大量关于语义文本相似性的研究都集中在使用复杂的建模、仔细选择学习信号和许多聪明的技巧来构建最先进的嵌入。相比之下,很少有人关注这些嵌入之间的相似性度量,在大多数情况下毫无疑问地使用余弦相似性。在这项工作中,我们说明,对于所有常见的词向量,余弦相似性基本上是等效的皮尔逊相关系数,这提供了一些理由,它的使用。我们彻底排除了皮尔逊相关性(因此余弦相似性)不适合作为相似性度量的情况。重要的是,我们表明,皮尔逊相关性是适当的一些词向量,但不是其他人。当它是不合适的,我们说明了如何共同的非参数秩相关系数,而不是可以使用显着提高性能。我们支持我们的分析与一系列的评价词级和词级语义文本相似性基准。对于后者,我们表明,即使是通过等级相关性比较的最简单的平均词向量也很容易与通过余弦相似性比较的最强深度表示相媲美。
2019-05-19 cs.CL cs.LG stat.ML
Deep Speaker: an End-to-End Neural Speaker Embedding System
Baidu Inc.(百度公司)
我们提出了Deep Speaker,一个神经说话者嵌入系统,它将话语映射到一个超球体,其中说话者相似性通过余弦相似性来测量。Deep Speaker生成的嵌入可用于许多任务,包括说话人辨识、验证和聚类。我们使用ResCNN和GRU架构进行实验,以提取声学特征,然后使用均值池生成话语级说话人嵌入,并使用基于余弦相似性的三重损失进行训练。在三个不同数据集上的实验表明,Deep Speaker的性能优于基于DNN的i向量基线。例如,Deep Speaker在文本无关数据集上将验证相等出错率降低了50%(相对),并将识别准确率提高了60%(相对)。我们还提出的结果表明,从一个用普通话训练的模型进行调整可以提高英语说话人识别的准确性。
2017-05-05 cs.CL
Word Embedding based Edit Distance
Tsinghua University(清华大学);ByteDance AI Lab(字节跳动人工智能实验室)
文本相似度计算是自然语言处理及相关领域的一个基本问题。近年来,已经开发了深度神经网络来执行该任务,并且已经实现了高性能。在监督学习中,神经网络通常使用标记数据进行训练,并且标记数据的创建通常是非常昂贵的。在这篇简短的论文中,我们解决了文本相似度计算的无监督学习。本文提出了一种基于词嵌入的编辑距离(WED)方法,将词嵌入与编辑距离相结合。在三个基准数据集上的实验表明,WED的性能优于最先进的无监督方法,包括编辑距离,TF-IDF基于余弦,词嵌入基于余弦,Jaccard索引等。
2018-10-25 cs.CL
Cosine Similarity of Multimodal Content Vectors for TV Programmes
University College London(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学);British Broadcasting Company(英国广播公司)
多模态信息来源于多种来源:视听文件、文本描述和元数据。我们展示了如何使用向量来表示每个单独源编码的内容,如何通过中期和后期融合技术将向量结合起来,以及如何计算内容之间的语义相似性。我们的矢量表示是从频谱特征和音频词包(用于音频)、LSI主题和Doc2vec嵌入(用于字幕)以及分类特征(用于元数据)构建的。我们实现我们的模型在BBC电视节目的数据集上,并评估融合的表示,以提供建议。后期融合的相似度矩阵显着提高了推荐的精度和多样性。
2020-09-23 cs.CL cs.IR cs.LG
Semantic Textual Similarity Assessment in Chest X-ray Reports Using a Domain-Specific Cosine-Based Metric
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);GIPSA-lab(吉帕实验室)
本文提出一种领域特定的基于余弦的度量方法,用于评估胸部X射线报告生成的语义相似性,验证其有效性并与传统度量结果一致。
2024-02-19 cs.CL cs.CV
Rotations and Interpretability of Word Embeddings: the Case of the Russian Language
National Research University Higher School of Economics(国家研究型高等经济大学)
考虑一个连续的词嵌入模型。通常,词向量之间的余弦被用作词的相似性的度量。这些余弦在嵌入空间的正交变换下不会改变。我们证明了,使用SVD的一些规范正交变换,既可以增加一些组件的意义,又可以使组件在重新学习下更加稳定。我们研究了俄语(RusVectores,fastText,RDT)的公共模型组件的可解释性。
2017-07-14 cs.CL
Beyond Cosine Similarity: Taming Semantic Drift and Antonym Intrusion in a 15-Million Node Turkish Synonym Graph
本文提出了一种基于三元语义关系判别器和软到硬聚类算法的语义聚类系统,有效解决同义词与反义词区分问题,提升语义检索精度。
2026-01-19 cs.CL cs.LG
Tracing metaphors in time through self-distance in vector spaces
Univ. of Amsterdam(阿姆斯特丹大学);Univ. of Groningen(格罗宁根大学);Zanichelli editore(扎尼凯利出版社)
从历时语料库的意大利语,我们建立连续的向量空间的时间,并使用它们来比较一个术语的余弦相似性本身在不同的时间跨度。我们假设相似性的下降可能与特定时间隐喻意义的出现有关。基于相似性的观察结果与参考词典中记录的比喻意义的实际年份相匹配,并通过手动检查语料库的出现。
2016-11-10 cs.CL
Plagiarism Detection on Electronic Text based Assignments using Vector Space Model (ICIAfS14)
Post Graduate Institute of Science(科学研究生院);University of Peradeniya(佩拉德尼亚大学)
剽窃是指在任何领域,如艺术、诗歌、文学、电影、研究和其他创造性的学习形式中,非法使用他人的部分作品或整个作品作为自己的作品。剽窃是学术研究领域的一个重要问题,也是学术系统中备受关注的问题。随着网络上大量资源的可用性,情况甚至更糟。本文通过比较向量空间模型中的一元、二元、三元模型与余弦相似性度量,提出了一种有效的抄袭检测工具,用于文本作业的语料库内抄袭检测。使用一元、二元和三元向量对手动评估的标记数据集进行测试。尽管trigram向量消耗相对更多的时间,但它对标记数据显示出更好的结果。此外,还将所选择的基于余弦相似性测度的三元向量空间模型与基于Jaccard测度的三元序列匹配技术进行了比较。在结果中,余弦相似性得分显示出比另一个略高的值。因为,它侧重于为数据集中不经常存在的术语赋予更多的权重,并且使用三元组技术的余弦相似性度量比其他方法更可取。因此,我们提出了我们的新工具,它可以作为一个有效的工具来评估基于文本的电子作业,并尽量减少学生之间的抄袭。
2014-12-25 cs.CL cs.IR
Training for Compositional Sensitivity Reduces Dense Retrieval Generalization
Redis
本研究通过增加结构针对性负样本,减少密集检索的泛化能力,发现最大相似度在重排序中表现优异,但无法拒绝结构近似情况,而小型Transformer在相似度映射上能有效分离近似情况。
2026-03-16 cs.AI cs.CL cs.IR
Similarity Gates Approve Reversals: A Validity Audit of Embedding-Cosine Thresholds in Agent Systems
Eigenforma(艾根福马);Freemind Labs(自由思维实验室)
该研究审计智能体系统中嵌入余弦阈值门控的有效性,发现其无法区分指令反转与释义、性能差且易受混杂因素影响,多数修复措施失效,仅部分配置可区分反转与释义。
2026-08-12 cs.AI cs.CL
Rethinking Word Similarity: Semantic Similarity through Classification Confusion
Stanford University(斯坦福大学)
针对传统词嵌入余弦相似度无法捕捉语义相似度的上下文依赖等特性问题,提出基于分类混淆的Word Confusion度量方法,其匹配人类判断性能与余弦相似度相当,还能测试历史词义变化假设,助力相关领域发展。
2025-02-08 cs.AI cs.CL
Correlations between Word Vector Sets
纯粹基于词嵌入的相似性度量在无监督语义文本相似性(STS)任务上与更复杂的深度学习和专家工程系统竞争。与常用的几何方法相比,我们将单个词嵌入视为例如来自标量随机变量的300个观察。使用这种模式,我们首先说明,来自基本池操作和经典的相关系数的相似性产生优秀的结果标准STS基准测试,优于许多最近提出的方法,同时要快得多,微不足道的实现。接下来,我们演示如何完全避免池化操作,并通过再生核希尔伯特空间之间的相关算子直接比较词嵌入的集合。就像余弦相似性是用来比较个别的词向量,我们介绍了一个新的应用程序的中心内核对齐(CKA)作为一个自然的概括平方余弦相似性的词向量集。同样,CKA也很容易实现,并具有很强的经验结果。
2019-10-07 cs.CL cs.LG
Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation
AZA Lab, Department of Psychiatry, Yale University(AZA实验室、精神病学系、耶鲁大学);Department of Psychiatry and Behavioral Sciences, Center for Collective Healing, Howard University(精神病学与行为科学系、集体愈合中心、霍华德大学);Department of Psychology, University of Exeter(心理学系、埃克塞特大学)
本文提出一种结合Cohen's Kappa和语义相似性的多LLM主题分析框架,通过多轮验证提升定性研究的可靠性。
2026-02-14 cs.AI cs.CL
Closed Form Word Embedding Alignment
School of Computing(计算学院)
我们开发了一系列技术来对齐来自不同源数据集或使用不同机制(例如,GloVe或word2vec)。我们的方法很简单,并且有一个封闭的形式来优化旋转,平移和缩放,以最大限度地减少均方根误差或最大限度地提高相同词汇的两个嵌入到同一维空间之间的平均余弦相似性。我们的方法扩展了称为绝对方向的方法,这种方法在三维中对齐对象时很流行,并推广了Smith等人的方法(ICLR 2017)。我们证明了新的最佳缩放和最大限度地提高余弦相似性的结果。然后,我们演示了如何评估来自不同来源或机制的嵌入的相似性,以及在嵌入中保留某些属性(如同义词和类比),并且可以通过简单地对齐和平均嵌入集合来增强。
2020-11-17 cs.CL stat.ML
Improving LLM Abilities in Idiomatic Translation
Algoverse AI Research(Algoverse人工智能研究院)
本研究针对大语言模型翻译习语的难题,通过扩展知识库寻找目标语言对应习语,提出余弦相似度查找和LLM生成习语两种方法,实验表明余弦相似度方法在GPT4o翻译中表现最佳,并开发了低资源乌尔都语数据集。
2025-01-23 cs.AI cs.CL
Taken by Surprise: Contrast effect for Similarity Scores
EliseAI(Elise人工智能公司);King’s College London(伦敦国王学院)
针对现有相似度得分未考虑对象集合分布的问题,提出体现人类感知对比效应的surprise score指标,在零/少样本分类等任务上性能较余弦相似度提升10-15%。
2023-08-22 cs.AI cs.CL cs.IR
Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors
Babylon Health(巴比伦健康)
最近的文献表明,在语义文本相似性任务中,平均词向量加上简单的后处理优于许多深度学习方法。此外,当平均词向量在大型释义语料库上进行监督训练时,它们在标准STS基准测试中获得了最先进的结果。受这些见解的启发,我们进一步推动了词嵌入的极限。我们提出了一种新的模糊词袋(FBoW)表示的文本,同时包含所有的词汇,但具有不同程度的成员资格,这是来自词向量之间的相似性。我们发现,最大池词向量是模糊BoW的一个特例,应该通过模糊Jaccard指数,而不是余弦相似性进行比较。最后,我们提出了DynaMax,一个完全无监督和非参数的相似性度量,动态提取和最大池良好的功能,这取决于句子对。这种方法既高效又易于实现,但在STS任务上的表现远远优于当前的基线,甚至可以与经过训练以直接优化余弦相似度的监督词向量竞争。
2019-04-30 cs.CL cs.LG
ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics
MediaTek Inc.(联发科股份有限公司);National Taiwan University(台湾大学)
针对多模态大模型KV缓存内存开销问题,提出ECOKV方法,结合欧氏距离与余弦相似度的几何感知复合度量及自适应加权,缩减观察窗口,实现高效缓存驱逐并达到最先进性能。
2026-09-09 cs.AI cs.CL cs.CV
Textual Similarity as a Key Metric in Machine Translation Quality Estimation
University of Tübingen(蒂宾根大学);Stuttgart University(斯图加特大学)
本文提出以文本相似性作为机器翻译质量评估新指标,利用句子变换器与余弦相似度,并在MLQE-PE数据集上证明其预测人工评分优于hter等传统指标。
2024-07-01 cs.AI cs.CL
Magnitude Matters: a Superior Class of Similarity Metrics for Holistic Semantic Understanding
本文提出幅度感知的相似度度量(OS和HTS),在整体语义理解任务上显著优于点积和余弦相似度,并指出组合语义表示是未来方向。
2025-09-12 cs.AI cs.CL
Diagnosing Hate Speech Classification: Where Do Humans and Machines Disagree, and Why?
Princeton University(普林斯顿大学)
本研究通过余弦相似度比、嵌入回归和人工重标注诊断仇恨言论分类,揭示人类标注不一致性及人机分歧原因,发现女性标注者对针对黑人的种族 slur 更敏感、机器在长事实陈述标注上更优但短脏话检测较弱。
2024-11-26 cs.CL cs.CY cs.LG
PACE: Progressive Angular-to-Norm Contrastive Embedding
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);Huazhong University of Science and Technology(华中科技大学);Nanjing University(南京大学)
针对多模态嵌入中余弦对比限制语义表达、点积训练不稳定的问题,提出两阶段渐进框架PACE,逐步扩展表示与参数空间,并引入焦点嵌入损失,实验验证其有效性。
2026-09-15 cs.AI cs.CL cs.CV