Study of keyword extraction techniques for Electric Double Layer Capacitor domain using text similarity indexes: An experimental analysis
关键词在选择各种主题相关的文档时非常容易。由人类或专家分配的主题或关键字提供准确的信息。然而，这种做法在资源和时间管理方面是相当昂贵的。因此，使用自动关键字提取技术更令人满意。然而，在开始自动化过程之前，有必要检查和确认专家提供的关键字和算法生成的关键字有多相似。本文提出了一种实验分析的关键词相似性得分的不同监督和无监督的自动关键词提取算法与专家提供的关键词从双电层电容器（EDLC）域。本文还分析了哪些文本提供了更好的关键词，如肯定句或文档的所有句子。在无监督算法中，YAKE，TopicRank，MultipartiteRank和KPMiner用于关键字提取。从监督算法，KEA和WINGNUS的关键字提取。为了评估所提取的关键词与专家提供的关键词的相似性，本研究采用了Jaccard，余弦和余弦与词向量相似性指数。实验结果表明，MultipartiteRank关键词提取技术与余弦词向量相似度指标的测量产生最好的结果与92%的相似度与专家提供的关键词。本研究可以帮助自然语言处理领域的研究人员选择更合适的关键词提取和相似度计算技术。
2021-11-13 cs.IR
Collaborative filtering, K-nearest neighbor and cosine similarity in home decor recommender systems
本文为DecorRaid公司开发了基于协同过滤、K近邻和余弦相似度的推荐系统框架，通过多视角评估和在线A/B测试，提出解决稀疏性和冷启动问题的混合推荐系统方案。
2024-02-09 cs.IR cs.SI
A Comparison of Semantic Similarity Methods for Maximum Human Interpretability
Tribhuwan University（特里布万大学）
在任何相似性度量中包含语义信息提高了相似性度量的效率，并提供了人类可解释的结果以供进一步分析。仅关注与文本的词相关的特征的相似度计算方法将给出不太准确的结果。本文提出了三种不同的方法，不仅关注文本的词，但也纳入文本的语义信息在其特征向量和计算语义相似度。这些方法是基于语料库和基于知识的方法，这是：余弦相似度使用tf-idf向量，余弦相似度使用词嵌入和软余弦相似度使用词嵌入。在这三种方法中，使用tf-idf向量的余弦相似度在发现短新闻文本之间的相似性方面表现最好。该方法给出的相似文本易于理解，可直接用于其他信息检索应用。
2019-10-31 cs.CL cs.IR cs.LG
Implementation Notes for the Soft Cosine Measure
标准的词袋向量空间模型（VSM）是信息检索中普遍存在的有效模型，但它低估了语义相同但术语不同的文档之间的相似性。为了克服这个限制，Sidorov等人提出了软余弦测度（SCM），它包含了术语相似性关系。Charlet和Damnati证明了SCM在问答系统中的高效性。然而，Sidorov等人提出的正交归一化算法具有不切实际的时间复杂度$\mathcal O(n^4)$，其中n是词汇表的大小。本文证明了$\mathcal O(n^3)$的一个更严格的最坏情况时间复杂度下界。我们还提出了一个算法来计算文档之间的相似性，我们表明，它的最坏情况下的时间复杂度是$\mathcal O(1)$给定的现实条件。最后，我们描述了在通用向量数据库（如Annoy和Faiss）以及文本搜索引擎（如Apache Lucene和ElasticSearch）的倒排索引中的实现。我们的研究结果使部署的SCM在现实世界的信息检索系统。
2018-08-28 cs.IR
Fast Cosine Similarity Search in Binary Space with Angular Multi-index Hashing
University of Waterloo（滑铁卢大学）
给定一个大的数据集的二进制代码和一个二进制查询点，我们解决如何有效地找到$K$代码的数据集，产生最大的余弦相似的查询。这个问题的直接答案是将查询与数据集中的所有项进行比较，但这只适用于小数据集。一种增强搜索时间并实现次线性成本的潜在解决方案是使用填充有数据集的二进制代码的哈希表，然后查找查询的附近桶以检索最近的邻居。然而，如果代码在余弦相似性而不是汉明距离方面进行比较，则主要问题是要探测的桶的顺序不明显。为了研究这个问题，我们首先详细说明汉明距离和余弦相似性之间的联系。这样做允许我们系统地在哈希表中找到探测序列。然而，用单个表解决最近邻搜索仅对短二进制码是实用的。为了解决这个问题，我们提出了角度多索引哈希搜索算法，它依赖于建立多个哈希表的二进制代码子串。所提出的搜索算法解决了精确的角度$K$最近邻问题的时间，往往是数量级快于线性扫描基线，甚至近似方法。
2018-04-18 cs.DB cs.DS cs.IR
Cosine Similarity of Multimodal Content Vectors for TV Programmes
University College London（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）；British Broadcasting Company（英国广播公司）
多模态信息来源于多种来源：视听文件、文本描述和元数据。我们展示了如何使用向量来表示每个单独源编码的内容，如何通过中期和后期融合技术将向量结合起来，以及如何计算内容之间的语义相似性。我们的矢量表示是从频谱特征和音频词包（用于音频）、LSI主题和Doc2vec嵌入（用于字幕）以及分类特征（用于元数据）构建的。我们实现我们的模型在BBC电视节目的数据集上，并评估融合的表示，以提供建议。后期融合的相似度矩阵显着提高了推荐的精度和多样性。
2020-09-23 cs.CL cs.IR cs.LG
Efficient Document Indexing Using Pivot Tree
UPMC（巴黎第六大学）
我们提出了一种新的方法，有效地搜索前k个邻居表示在高维空间的条件的基础上余弦相似性的文件。大多数情况下，文档是以词袋tf-idf表示的形式存储的。向量表示之间的余弦相似度是计算文档间相似度最常用的方法之一，但余弦相似度不遵循三角不等式，不是度量距离的度量，因此大多数度量搜索方法不能直接应用。我们提出了一个有效的方法，索引文件使用枢轴树，导致有效的检索。我们还研究了该方法的精度和效率之间的关系，并将其与基于内积的文档搜索领域的最新技术进行了比较。
2016-05-21 cs.IR cs.LG
Cleaned Similarity for Better Memory-Based Recommenders
The Hong Kong University of Science and Technology（香港科技大学）
基于记忆的协同过滤方法，如用户或项目的k-最近邻（kNN）是一个简单而有效的解决方案的推荐问题。这些方法的骨干是用户/项目之间的经验相似性的估计。在本文中，我们分析了皮尔逊和余弦相似性估计的谱特性，我们使用随机矩阵理论的工具，认为他们遭受噪声和特征值扩散。我们认为，与皮尔逊相关性，余弦相似性自然具有理想的属性的特征值收缩大的特征值。然而，由于其零均值假设，它高估了最大的特征值。我们量化了这种高估，并提出了一个简单的重新缩放和噪音清理方案。这导致基于内存的方法与其普通方法相比具有更好的性能。
2019-05-17 cs.IR cs.LG
Similarity Measures, Author Cocitation Analysis, and Information Theory
皮尔森的相关系数在作者引用分析中的使用进行了比较，索尔顿的余弦测量在一些最近的贡献。与皮尔逊相关性不同，余弦对零的数量不敏感。然而，在相关性分析中可以选择应用对数变换。信息演算既基于对数变换又提供了非参数统计。使用这种方法，可以以精确的方式对文档集进行聚类，并以信息位的形式表示差异。该算法的解释和使用的数据集，这是本次讨论的主题。
2009-11-22 cs.IR physics.soc-ph
Relevance Filtering for Embedding-based Retrieval
针对 ANN 稠密检索缺乏天然截断且余弦分数难以解释的问题，提出 Cosine Adapter，用查询相关映射与全局阈值过滤不相关结果，显著提升精度并仅损失少量召回。
2024-08-09 cs.IR
RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?
University of Amsterdam（阿姆斯特丹大学）
本文复现 TRIANGLE 框架，验证其通过最小化超球面上模态三元组面积实现多模态对齐的几何目标在检索任务中的鲁棒性，发现其在零样本设置下优于成对基线，但存在优化不稳定和领域依赖问题。
2026-05-22 cs.AI cs.CV cs.IR
Training for Compositional Sensitivity Reduces Dense Retrieval Generalization
Redis
本研究通过增加结构针对性负样本，减少密集检索的泛化能力，发现最大相似度在重排序中表现优异，但无法拒绝结构近似情况，而小型Transformer在相似度映射上能有效分离近似情况。
2026-03-16 cs.AI cs.CL cs.IR
Plagiarism Detection on Electronic Text based Assignments using Vector Space Model (ICIAfS14)
Post Graduate Institute of Science（科学研究生院）；University of Peradeniya（佩拉德尼亚大学）
剽窃是指在任何领域，如艺术、诗歌、文学、电影、研究和其他创造性的学习形式中，非法使用他人的部分作品或整个作品作为自己的作品。剽窃是学术研究领域的一个重要问题，也是学术系统中备受关注的问题。随着网络上大量资源的可用性，情况甚至更糟。本文通过比较向量空间模型中的一元、二元、三元模型与余弦相似性度量，提出了一种有效的抄袭检测工具，用于文本作业的语料库内抄袭检测。使用一元、二元和三元向量对手动评估的标记数据集进行测试。尽管trigram向量消耗相对更多的时间，但它对标记数据显示出更好的结果。此外，还将所选择的基于余弦相似性测度的三元向量空间模型与基于Jaccard测度的三元序列匹配技术进行了比较。在结果中，余弦相似性得分显示出比另一个略高的值。因为，它侧重于为数据集中不经常存在的术语赋予更多的权重，并且使用三元组技术的余弦相似性度量比其他方法更可取。因此，我们提出了我们的新工具，它可以作为一个有效的工具来评估基于文本的电子作业，并尽量减少学生之间的抄袭。
2014-12-25 cs.CL cs.IR
Measuring Human-perceived Similarity in Heterogeneous Collections
Northeastern University（东北大学）
我们提出了一种技术，用于估计对象之间的相似性，如电影或食物，其正确的表示取决于人类的感知。我们的技术结合了适度数量的人类相似性评估来推断对象之间的成对相似性函数。该相似性函数捕获了可能难以或不可能自动提取的一些人类相似性概念，例如当所需的电影不可用时，集合中的哪部电影将是更好的替代品。与现有技术相比，我们的方法不假设集合上的所有相似性问题都可以回答，或者所有用户都以相同的方式感知相似性。当与用户模型相结合时，我们发现每个评估员的品味如何变化，影响他们对相似性的感知。
2018-02-16 cs.AI cs.IR
Unified Semantic and ID Representation Learning for Deep Recommenders
针对传统ID类推荐的冷启动等问题与纯语义推荐的不足，提出融合ID与语义token互补优势的统一表示学习框架，结合余弦相似度与欧氏距离优化学习，在三个基准数据集上性能提升6%-17%且token规模降超80%。
2025-02-23 cs.IR
A new simple and effective measure for bag-of-word inter-document similarity measurement
为了在词袋向量表示中度量两个文档的相似性，使用不同的术语加权方案来提高文本挖掘中最广泛使用的文档间相似性度量--余弦相似性的性能。在本文中，我们确定的不足之处，在文档间的相似性测量任务的术语加权的基本假设，并提供了一个更适合的替代方案。基于这个新的假设，我们引入了一个新的简单，但有效的相似性度量，不需要显式的术语加权。建议的措施采用了一个更细致入微的概率方法比那些用于长期加权来衡量两个文件的相似性w.r.t每个术语发生在两个文件。我们的经验比较与现有的相似性措施，使用不同的术语加权方案表明，新的措施产生（i）更好的结果，在二进制的BoW表示;和（ii）竞争力和更一致的结果，在基于词频的BoW表示。
2019-02-09 cs.IR
Experimental similarity assessment for a collection of fragmented artifacts
在视觉遗产领域，搜索引擎有望支持考古学家和策展人解决跨多个收藏品的交叉关联和搜索问题。考古发掘返回的文物往往是损坏的部分是碎片在更多的碎片或完全失踪。碎片之间的相似性概念不能简单地基于几何形状，而是风格，材料，颜色，装饰等都是与这一概念相一致的重要因素。在这项工作中，我们将讨论在何种程度上现有的三维相似性匹配技术能够接近片段的相似性，缺少什么，有必要进一步发展。
2018-04-11 cs.GR cs.IR
When Does Embedding Magnitude Matter? A Cross-Task Functional-Symmetry Framework
Nara Institute of Science and Technology（奈良科学技术研究所）
本文提出一种2x2框架，独立控制查询和文档侧归一化，发现QNorm和DNorm在跨任务中优于余弦和点积，揭示文档量影响推理分数，查询量调节训练梯度，Fisher信息矩阵条件数预测归一化侧。
2026-05-07 cs.IR cs.LG
ScoreShield: Differentially Private Release of Similarity Scores
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；School of Engineering, École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院工程学院）
研究生物识别等应用中相似度分数隐私保护问题，提出ScoreShield先扰动后投影机制，添加校准高斯噪声并投影到可行性集，满足（ε，δ）-DP，给出效用保证，在多任务中评估，改进了风险的n依赖性。
2026-07-29 cs.CR cs.CV cs.IR
User-Curated Image Collections: Modeling and Recommendation
大多数最先进的图像检索和推荐系统主要集中在单个图像。相比之下，社会策划的图像集，将独特而连贯的图像浓缩成一组，在很大程度上被研究界所忽视。在本文中，我们的目标是设计一个新的推荐系统，可以为用户提供相关的个人喜好和兴趣的图像集合。为此，需要解决两个关键问题，即：图像集建模和相似性度量。对于图像集合建模，我们将每个图像集合视为一个整体，在一个组稀疏重建框架中，并在给定预训练字典的情况下提取简洁的集合描述符。然后，我们认为图像集推荐作为一个动态的相似性度量问题，响应于用户的点击图像集，并采用一个度量学习器来衡量图像集和点击图像集之间的相似性。由于之前没有与本研究直接可比的工作，因此我们实施了几种具有竞争力的基线和相关方法进行比较。大规模Pinterest数据集上的评估验证了我们提出的方法用于建模和推荐图像集合的有效性。
2015-09-18 cs.IR cs.MM
Applying Transfer Learning for Improving Domain-Specific Search Experience Using Query to Question Similarity
Artificial Intelligence, CoE（人工智能卓越中心）；Fidelity Investments（富达投资）
搜索是最常用的信息搜索平台之一。然而，每当用户使用这样的平台来解决他们的查询时，他们大多会收到过多的结果。如今，对查询的直接回答作为搜索体验的一部分被提供。问答（QA）检索过程在丰富搜索体验方面起着重要作用。大多数现成的语义文本相似性模型对于格式良好的搜索查询都能很好地工作，但是当应用于特定于域的设置时，它们的性能会降低，该设置具有普遍存在的不完整或语法不正确的搜索查询。在本文中，我们讨论了一个框架，用于计算一个给定的输入查询和一组预定义的问题之间的相似性，以检索的问题，它最匹配。我们已经将其用于金融领域，但该框架适用于任何特定领域的搜索引擎，也可以用于其他领域。我们在长短期记忆（LSTM）[3]模型上使用暹罗网络[6]来训练分类器，该分类器为给定的一对问题生成未归一化和归一化的相似性得分。此外，对于这些问题对中的每一个，我们计算了其他三个相似性分数：它们的平均word2vec嵌入之间的余弦相似性[15]，使用RoBERTa [17]生成的句子嵌入之间的余弦相似性[7]以及它们的自定义模糊匹配分数。最后，我们使用支持向量机[19]开发了一个元分类器，用于结合这五个分数来检测给定的一对问题是否相似。我们在Quora Question Pairs（QQP）数据集以及特定于金融领域的数据集上对现有的最先进（SOTA）模型进行了性能基准测试。
2021-01-07 cs.CL cs.IR
