Beyond Similarity: Relation Embedding with Dual Attentions for Item-based Recommendation
基于项目的协同过滤（ICF）方法由于其有效性和易用性，近年来在工业界得到了广泛的应用。ICF的关键在于项目之间的相似性度量，但它是一个粗粒度的数值，很难从表示学习的角度捕捉用户对项目不同潜在方面的细粒度偏好。在本文中，我们提出了一个名为REDA（潜在关系嵌入与双重注意）的模型来解决这一挑战。REDA本质上是一种基于深度学习的推荐方法，其通过用于项目间关系表示的神经网络结构采用项目关系嵌入方案。然后，一个关系的用户嵌入，提出了通过聚合的关系嵌入之间的所有购买项目的用户，这不仅更好地表征用户的喜好，但也解决了数据稀疏性问题。此外，为了捕获反映用户期望的潜在方面的有效元知识，同时抑制它们向过拟合的爆炸性增长，我们进一步提出了一种双重注意机制，包括记忆注意和权重注意。最后，通过构造项目关系的个性化排序损失，提出了一种基于关系的模型推理优化方法。在真实世界的数据集上进行了大量的实验，所提出的模型大大优于最先进的方法，特别是当数据稀疏时。
2019-11-11 cs.IR
Learning to hash with semantic similarity metrics and empirical KL divergence
Intuition Machines, Inc.（直觉机器公司）
学习哈希是从海量数据库中进行精确和近似最近邻搜索的有效范例。二进制散列码通常通过舍入来自CNN的输出特征从图像中提取，所述CNN在监督的二进制相似/不相似任务上训练。这种方法的缺点是：（i）得到的代码不一定捕获输入数据的语义相似性（ii）舍入导致信息丢失，表现为检索性能下降，以及（iii）仅使用类相似性作为目标可能导致琐碎的解决方案，简单地编码分类器输出，而不是学习更复杂的关系，这是大多数性能指标检测不到的。我们克服了（i）通过一个新的损失函数，鼓励学习功能的相对哈希码距离，以匹配那些来自他们的目标。我们通过对网络输出和二进制目标分布之间的KL发散的可微估计来解决（ii），当特征四舍五入到二进制时，导致最小的信息损失。最后，我们解决（iii）通过专注于层次精度度量。在CIFAR-100、ImageNet和Conceptual Captions数据集上，使用从WordNet标签层次结构或句子嵌入中推断出的相似性，通过语义图像检索证明了该方法的效率。
2020-05-11 cs.CV cs.IR cs.LG
Hierarchy-based Image Embeddings for Semantic Image Retrieval
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
已经发现，经过分类训练的深度神经网络可以学习强大的图像表示，这些图像表示也经常用于其他任务，例如将图像与图像进行比较。他们的视觉相似性。然而，视觉相似性并不意味着语义相似性。为了学习语义判别功能，我们建议将图像映射到类嵌入，其成对点积对应于类之间的语义相似性度量。这样的嵌入不仅改善了图像检索结果，而且还可以促进为其他任务集成语义，例如，新颖性检测或少样本学习。我们引入了一个确定性的算法，直接计算类质心的基础上编码在一个层次结构的类，如WordNet的先验世界知识。在CIFAR-100，NABIrds和ImageNet上的实验表明，我们学习的语义图像嵌入大大提高了图像检索结果的语义一致性。
2019-03-19 cs.AI cs.CV cs.IR
Measuring Semantic Similarity by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量语义相似度的方法。LRA度量两对词之间语义关系的相似性。当两对具有高度的关系相似性时，它们是相似的。例如，对cat：meow类似于对dog：bark。认知科学有证据表明，关系相似性是许多认知和语言任务的基础（例如，类比推理）。在向量空间模型（VSM）方法来测量关系的相似性，两对之间的相似性是由代表两对向量之间的夹角的余弦计算。向量中的元素基于大型语料库中手动构建的模式的频率。LRA以三种方式扩展了VSM方法：（1）模式自动从语料库中导出，（2）奇异值分解用于平滑频率数据，以及（3）同义词用于重新表达单词对。本文介绍了LRA算法和实验比较LRA VSM两个任务，回答大学水平的多项选择词类比问题和分类名词修饰语表达的语义关系。LRA实现了最先进的结果，在类比问题上达到了人类水平的表现，并且在两项任务上都大大超过了VSM的表现。
2005-08-10 cs.CL cs.IR cs.LG
Utilizing Embeddings for Ad-hoc Retrieval by Document-to-document Similarity
词或段落的潜在语义表示，即嵌入，在信息检索中有着广泛的应用。利用嵌入进行检索的常用方法之一是估计嵌入中的文档到查询（D2 Q）相似度。由于具有相似句法用法的词通常在嵌入空间中彼此非常接近，尽管它们在语义上不相似，D2 Q相似性方法可能遭受“多个相似度”的问题。为此，本文提出了一种新的方法，估计一个语义相关性得分（SEM）的基础上文档到文档（D2 D）的相似性嵌入。由于Word或Para 2 Vec通过单词/段落的上下文生成嵌入，因此D2 D相似性方法将文档排序的任务转变为对不同文档内的内容之间的相似性的估计。在标准TREC测试集上的实验结果表明，我们提出的方法优于强基线。
2017-08-10 cs.IR
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系，而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时，我们称之为同义词。当两对词具有高度的关系相似性时，我们说它们的关系是相似的。例如，mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施，主要是关注属性相似性。最近的向量空间模型（VSM）的信息检索已被改编为测量关系相似性的任务，实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中，一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法：（1）模式是从语料库中自动导出的（它们不是预定义的），（2）奇异值分解（SVD）用于平滑频率数据（在潜在语义分析中也以这种方式使用），以及（3）自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%，在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上，LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Question Answering over Unstructured Data without Domain Restrictions
信息需求自然表现为问题。自动自然语言问答（NLQA）直到最近才成为一个更大规模和没有领域限制的实际任务。本文简要介绍了系统评价竞赛的领域、历史和影响。然后证明，NLQA系统的英语可以建立和评估在很短的时间内使用现成的解析器和词库。该系统是基于鲁棒最小递归语义（RMRS），是便携式相对于作为前端的解析器。它应用原子术语统一支持的问题分类和WordNet查找解析的问题表示和自由文本的语义相似性匹配。
2002-07-18 cs.CL cs.IR
FinMatcher at FinSim-2: Hypernym Detection in the Financial Services Domain using Knowledge Graphs
University of Mannheim（曼海姆大学）；SAP SE（思爱普公司）
本文介绍了FinMatcher系统及其在FinSim 2021共享任务中的结果，该任务与Web会议上的Web金融技术研讨会（FinWeb）位于同一地点。FinSim-2共享任务由一组来自金融服务领域的概念标签组成。目标是从给定的一组概念中找到最相关的顶层概念。FinMatcher系统利用三个公开可用的知识图谱，即WordNet、Wikidata和WebIsALOD。这些图被用来生成显式特征和潜在特征，这些特征被输入神经分类器以预测最接近的上位词。
2021-03-02 cs.CL cs.IR cs.LG
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Optimization of Latent-Space Compression using Game-Theoretic Techniques for Transformer-Based Vector Search
School of Computer Engineering, KIIT Deemed to be University, Bhubaneswar, Odisha - India（计算机工程学院，KIIT大学，巴胡瓦斯瓦尔，奥里萨-印度）
本文提出基于博弈论的潜在空间压缩优化方法，通过平衡检索准确性和存储效率，提升Transformer向量搜索的效率和语义效用。
2025-08-26 cs.AI cs.IR cs.LG
Improving Collaborative Filtering based Recommenders using Topic Modelling
Flytxt Mobile Solutions Pvt. Ltd.（Flytxt移动解决方案私人有限公司）；Indian Institute of Technology, Delhi（德里印度理工学院）
标准的协同过滤（CF）算法利用用户和项目之间的交互，仅以隐式或显式评级的形式来生成推荐。在这种情况下，纯粹基于评级重叠来计算用户或项目之间的相似性，而不考虑所涉及的用户或项目的显式属性，从而限制了它们在具有非常稀疏的评级空间的域中的适用性。在许多领域，如电影，新闻或电子商务广告，大量的文本形式的上下文数据描述项目属性，以及评级数据，这可以用来提高推荐quality.In本文中，我们提出了一种新的方法，以改善标准的CF为基础的广告，利用潜在的Dirichlet分配（LDA）学习项目的潜在属性，表示在主题比例，源自其文字描述。我们推断用户的主题偏好或人物在同一潜在空间，根据她的历史评级。在计算用户之间的相似性时，我们使用了一种组合的相似性度量，包括评分重叠以及潜在主题空间中的相似性。这种方法解决了稀疏性问题，因为它允许计算用户之间的相似性，即使他们没有共同评价任何项目。我们在多个公共数据集上的实验表明，所提出的混合方法在分类精度指标（如精度，召回率和f-测量）方面显着优于标准的基于用户和基于项目的CF分类器。
2014-02-25 cs.CL cs.IR cs.LG
Complementary-Similarity Learning using Quadruplet Network
Walmart Labs（沃尔玛实验室）
我们提出了一个新的学习框架来回答这样的问题，如“如果用户购买衬衫，他还需要什么其他项目的衬衫？“我们的框架从可用的文本数据中学习项目的分布式表示，学习的表示表示潜在空间中的项目，表达功能互补性以及相似性。特别是，我们的框架将功能相似的项目紧密地放在潜在空间中，同时也将互补项目放在比非互补项目更近的位置，但比相似项目更远。在这项研究中，我们引入了一个新的数据集，其中包含来自亚马逊共同购买数据集的相似、互补和负面物品。出于评估目的，我们将方法集中在服装和时尚垂直领域。据我们所知，这是第一次尝试通过文本标题元数据同时学习相似和互补的关系。我们的框架适用于产品目录中的广泛项目，并可以大规模生成高质量的补充项目建议。
2019-09-14 cs.IR cs.LG stat.ML
Bridging the Gap: Incorporating a Semantic Similarity Measure for Effectively Mapping PubMed Queries to Documents
National Center for Biotechnology Information（国家生物技术信息中心）；National Library of Medicine, National Institutes of Health（美国国家医学图书馆，美国国立卫生研究院）
传统的信息检索（IR）的主要方法是检查查询中有多少单词出现在文档中。然而，这种方法的一个缺点是，它可能无法检测到相关的文档中没有或只有少数单词从一个查询中被发现，语义分析方法，如LSA（潜在语义分析）和LDA（潜在Dirichlet分配）已被提出来解决这个问题，但他们的性能并不优于普通的IR方法相比。在这里，我们提出了一个查询文档的相似性措施的动机字移动器的距离。与其他相似性度量不同，所提出的方法依赖于神经词嵌入来计算词之间的距离。当在查询和文档之间没有找到直接匹配时，此过程有助于识别相关单词。我们的方法是有效的和简单的实现。在TREC Genomics数据上的实验结果表明，该方法的平均精度比BM 25排序函数平均高12%。此外，对于从PubMed搜索日志收集的真实数据集，我们使用学习排序方法将语义度量与BM 25相结合，从而将排名分数提高了25%。该实验表明，所提出的方法和BM 25很好地相互补充，并共同产生卓越的性能。
2017-10-17 cs.CL cs.IR
A Latent Source Model for Online Collaborative Filtering
Massachusetts Institute of Technology（麻省理工学院）
尽管协同过滤在推荐系统中很流行，但关于它为什么以及如何工作的理论发展很少，特别是在“在线”设置中，随着时间的推移，项目被推荐给用户。我们通过引入一个在线推荐系统的模型来解决这个理论上的差距，将模型下的项目推荐作为一个学习问题，并分析了余弦相似性协同过滤方法的性能。在我们的模型中，每个$n$用户喜欢或不喜欢每个$m$项目。我们假设存在$k$类型的用户，并且给定类型的所有用户共享确定喜欢每个项目的机会的公共概率串。在每个时间步，我们向每个用户推荐一个物品，其中与相关的强盗文献的关键区别在于，一旦用户消费了一个物品（例如，观看电影），则该项目不能被再次推荐给同一用户。我们的目标是随着时间的推移最大限度地增加推荐给用户的喜欢的项目的数量。我们的主要研究结果表明，经过近$\log(km)$初始学习时间步，一个简单的协同过滤算法实现了基本上最优的性能，而不知道$k$。该算法有一个开发步骤，使用余弦相似性和两种类型的探索步骤，一个是探索项目的空间（标准的文献），另一个是探索用户之间的相似性（新的这项工作）。
2014-10-31 cs.IR cs.LG stat.ML
