RoleRAG: Enhancing LLM Role-Playing via Graph Guided Retrieval
Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)（阿里巴巴-国立科技大学全球可持续性公司实验室（ANGEL））；College of Computing and Data Science（计算与数据科学学院）
针对大语言模型角色扮演中知识回忆不准和认知边界缺失的问题，提出基于图引导检索的RoleRAG框架，通过实体消歧和边界感知检索提升角色一致性并减少幻觉。
2025-05-24 cs.AI
HiChunk: Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking
Tencent Youtu Lab（腾讯优图实验室）
针对RAG分块缺乏有效评估的问题，提出HiCBench基准和基于微调LLM的HiChunk层次化分块框架，结合自动合并检索，提升分块质量与RAG整体性能。
2025-10-09 cs.AI cs.CL
From Entity-Centric to Goal-Oriented Graphs: Enhancing LLM Knowledge Retrieval in Minecraft
本文提出目标导向图（GoG）框架，通过构建目标依赖关系图提升LLM在Minecraft中的步骤推理能力，实验表明其优于GraphRAG等方法。
2026-03-12 cs.AI
Enhancing Retrieval-Augmented Generation with Topic-Enriched Embeddings: A Hybrid Approach Integrating Traditional NLP Techniques
National University of Tierra del Fuego（泰德菲国立大学）
本文提出一种整合传统NLP技术的混合方法，通过主题增强嵌入提升检索增强生成系统的检索精度和语义聚类效果。
2025-12-31 cs.AI cs.IR
Enhancing Student Learning with LLM-Generated Retrieval Practice Questions: An Empirical Study in Data Science Courses
College of Computer and Informatics（计算机与信息学院）；Drexel University（德雷塞尔大学）
本研究针对教师生成检索练习问题耗时的问题，通过两门数据科学课程的实证发现，LLM生成的选择题检索练习可将学生知识留存准确率从73%提升至89%，但需教师审核问题质量。
2025-07-29 cs.AI
Task-Aware LoRA Adapter Composition via Similarity Retrieval in Vector Databases
本文提出基于向量数据库相似性检索的LoRA适配器组合框架，通过动态合并适配器实现多任务学习，线性合并方法在PIQA和RTE任务上取得显著性能提升。
2026-02-01 cs.AI cs.CL cs.LG
SynapticRAG: Enhancing Temporal Memory Retrieval in Large Language Models through Synaptic Mechanisms
Meiji University（明治大学）；Kyoto University（京都大学）；Hefei University（合肥大学）
针对大型语言模型在时间分布对话中依赖语义相似度导致检索准确率下降的问题，提出 SynapticRAG，利用时间关联触发器、突触式刺激传播和动态泄漏积分触发机制选择记忆，在多语言数据集上最高提升14.66个百分点。
2025-05-25 cs.AI cs.CL
Enhancing Code Consistency in AI Research with Large Language Models and Retrieval-Augmented Generation
NVIDIA（英伟达）
本文提出一种利用检索增强生成和大型语言模型自动验证代码实现与研究论文算法一致性的系统，提升了验证准确性与全面性，促进了AI研究的透明度、可复现性及研究可信度。
2025-02-02 cs.AI cs.SE
Enhancing Legal Document Retrieval: A Multi-Phase Approach with Large Language Models
VNU University of Engineering and Technology（VNU工程技术大学）；RMIT University（皇家墨尔本理工大学）；National Institute of Informatics（情报学研究所）
本研究提出一种结合 BM25 预排序、基于 BERT 的重排序与 LLM 提示技术的多阶段法律文档检索方法，在 COLIEE 2023 数据集上显著提升了检索准确率。
2024-03-26 cs.AI cs.CL
Enhancing Retrieval Augmented Generation with Hierarchical Text Segmentation Chunking
Institute for Artificial Intelligence, VNU University of Engineering and Technology（人工智能研究所，越南工程大学）
针对传统RAG分块未考虑文本结构导致语义不足的问题，提出整合层次化文本分割与聚类生成语义连贯分块的框架，利用段落级和聚类级向量检索，在多个数据集上优于传统方法。
2025-07-14 cs.AI cs.CL
Enhancing Low-Resource Minority Language Translation with LLMs and Retrieval-Augmented Generation for Cultural Nuances
National United University（国立联合大学）；United Link Co., Ltd.（联合连线有限公司）
本研究针对低资源少数民族语言翻译难题，结合LLMs与RAG技术在客家话翻译任务上验证了方法有效性，最优模型BLEU达31%，同时提出兼顾翻译质量与文化保护的协作框架。
2025-05-16 cs.AI cs.CL
LGM: Enhancing Large Language Models with Conceptual Meta-Relations and Iterative Retrieval
Philisense（哲思科技）
本文提出语言图模型LGM，通过提取继承、别名和组合等概念元关系并结合反思验证与概念迭代检索算法，使LLM无需截断即可处理任意长度文本，在标准基准上持续超越现有RAG方法。
2025-11-05 cs.AI cs.CL
Enhancing Robustness of Retrieval-Augmented Language Models with In-Context Learning
Seoul National University（首尔国立大学）
本文提出基于上下文学习的方法，通过引入机器阅读理解演示增强检索增强语言模型识别不可回答与冲突场景的能力，在无需微调的情况下提升开放域问答鲁棒性。
2024-08-08 cs.AI cs.CL
Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval
Ping An Technology（平安科技）；Beihang University（北京航空航天大学）
双编码器是问答系统中一种很有前途的答案检索机制。目前，大多数传统的双编码器学习的语义表示的问题和答案仅仅通过匹配的分数。研究者提出在评分函数中引入问答交互特征，但代价是推理阶段效率低下。为了在推理阶段保持问题和答案的独立编码，在训练阶段进一步引入变分自动编码器来从问题（答案）嵌入重构答案（问题）作为辅助任务，以增强表示学习中的QA交互。然而，文本生成和答案检索的需求是不同的，这导致了训练的难度。在这项工作中，我们提出了一个框架，以增强双编码器模型与问答交叉嵌入和一个新的几何对齐机制（GAM），以对齐的几何嵌入从双编码器从交叉编码器。大量的实验结果表明，我们的框架显着改善了双编码器模型，并优于国家的最先进的方法在多个答案检索数据集。
2022-06-07 cs.AI cs.CL
Enhancing Tool Retrieval with Iterative Feedback from Large Language Models
The Hong Kong Polytechnic University（香港理工大学）
本文提出利用大语言模型的多轮迭代反馈来增强工具检索，以缓解复杂指令与工具描述理解困难以及检索与使用模型不一致的问题，并通过统一基准验证了其在域内和域外评估中的先进性能。
2024-09-29 cs.AI cs.CL
CrossMuSim: A Cross-Modal Framework for Music Similarity Retrieval with LLM-Powered Text Description Sourcing and Mining
Audio Lab Hong Kong, Hong Kong Research Center, Huawei Technologies, Hong Kong SAR（香港音频实验室、香港研究中心、华为技术有限公司、香港特别行政区）；Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain（音乐技术组、庞培法华大学、巴塞罗那西班牙）；Munich Research Center, Huawei Technologies, Munich, Germany（慕尼黑研究中心、华为技术有限公司、慕尼黑德国）
本文提出跨模态对比学习框架CrossMuSim，利用LLM生成文本描述指导音乐相似性建模，并通过双源数据获取解决配对数据稀缺问题，在华为音乐平台验证了性能提升。
2025-05-23 cs.AI cs.SD eess.AS
Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning
McGill University（麦吉尔大学）
本文提出InftyThink与跨链记忆，通过语义引理检索提升LLM在结构化领域推理准确性，同时揭示异构领域中的失败模式及方向性偏见影响。
2025-12-22 cs.AI cs.CL cs.LG
Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation
Amrita School of Artificial Intelligence（阿姆利塔人工智能学院）；Amrita Vishwa Vidyapeetham（阿姆利塔维什瓦维迪亚皮塔姆大学）
针对 LLM 长对话上下文受限问题，提出 HAT 层次聚合树记忆结构，将上下文选择建模为最优树遍历并递归聚合相关信息，实验表明其提升多轮对话连贯性与摘要质量且避免参数指数增长。
2024-06-10 cs.AI cs.CL
KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
Fudan University（复旦大学）
针对大语言模型存在的知识完整性、时效性等问题，提出综合框架KnowledGPT，实现大语言模型与知识库的检索及存储交互，实验证明其可提升需世界知识的问题解答能力。
2023-08-17 cs.AI cs.CL
UrbanCross: Enhancing Satellite Image-Text Retrieval with Cross-Domain Adaptation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Northwestern Polytechnical University（西北工业大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出跨域卫星图像-文本检索框架UrbanCross，利用LMM和SAM实现多模态细粒度对齐，并结合自适应课程采样与加权对抗微调模块，有效弥合城市景观领域鸿沟，检索性能显著提升。
2024-04-22 cs.AI cs.CV
Learning Non-Metric Visual Similarity for Image Retrieval
Aston University（阿斯顿大学）
测量数据分布中两个或多个实例之间的视觉相似性是图像检索中的一项基本任务。理论上，非度量距离能够生成比度量距离更复杂和更准确的相似性模型，前提是系统精确地捕获非线性数据分布。在这项工作中，我们探索神经网络模型学习的非度量相似性函数的实例搜索。我们认为，基于神经网络的非度量相似性函数可以建立一个更好的人类视觉感知模型比标准的度量距离。由于我们提出的相似性函数是可微的，我们探索了一种真正的端到端的可训练图像检索方法，即我们从输入图像像素学习权重到最终的相似性得分。实验评估表明，非度量相似性网络能够学习图像之间的视觉相似性，并在最先进的图像表示的基础上提高性能，提高标准图像检索数据集与标准度量距离的结果。
2019-04-10 cs.CV
On Semantic Similarity in Video Retrieval
University of Bristol（布里斯托尔大学）；University of Amsterdam（阿姆斯特丹大学）
目前的视频检索工作都发现他们的评价基于实例的假设，只有一个单一的字幕是相关的查询视频，反之亦然。我们证明，这种假设的结果往往不表示模型的检索能力的性能比较。我们提出了一个移动到语义相似性的视频检索，其中（i）多个视频/字幕可以被视为同样相关的，他们的相对排名不影响方法的报告性能和（ii）检索到的视频/字幕排名的相似性查询。我们提出了几个代理来估计大规模检索数据集中的语义相似性，而无需额外的注释。我们的分析是在三个常用的视频检索数据集（MSR-VTT，YouCook 2和EPIC-KITCHENS）上进行的。
2021-03-18 cs.CV
DualCap: Enhancing Lightweight Image Captioning via Dual Retrieval with Similar Scenes Visual Prompts
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
针对轻量级检索增强图像描述模型仅用文本提示导致视觉特征未增强、存在语义鸿沟的问题，提出DualCap双检索方法，结合文图与图图检索生成视觉提示并融合特征，在更少参数下实现了有竞争力的描述性能。
2025-10-28 cs.AI cs.CV
Improved Deep Hashing with Soft Pairwise Similarity for Multi-label Image Retrieval
Wuhan University（武汉大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Sun Yat-Sen University（中山大学）；University of South Carolina（南卡罗来纳大学）；Tianjin University（天津大学）
散列编码在大规模图像检索的近似最近邻搜索中得到了广泛的应用。最近，已经提出了许多深度哈希方法，并且与传统的基于特征学习的方法相比，它们的性能有了很大的提高。这些方法大多在语义级标签上检验两两相似度，其中两两相似度通常以硬分配的方式定义。也就是说，如果它们共享不少于一个类别标签，则成对相似性为“1”，如果它们不共享任何类别标签，则成对相似性为“0”。然而，这样的相似性定义不能反映持有多个标签的成对图像的相似性排名。本文提出了一种新的深度哈希方法用于多标签图像检索，通过将成对相似度重新定义为实例相似度，其中实例相似度基于归一化的语义标签量化为百分比。基于实例的相似性，加权交叉熵损失和最小均方误差损失量身定制的损失函数的建设，并有效地用于同时特征学习和哈希编码。在三个流行数据集上的实验表明，该方法在多标签图像检索中取得了较好的性能。
2019-10-17 cs.CV
Enhancing Image Retrieval : A Comprehensive Study on Photo Search using the CLIP Mode
BMS College of Engineering（BMS工程学院）
本文综合研究CLIP在照片搜索中的应用，说明其通过视觉-语言预训练构建共享表示空间，实现跨模态语义检索，并提升零样本学习、少样本分类及多媒体信息检索能力。
2024-01-24 cs.AI cs.CV
Learnt quasi-transitive similarity for retrieval from large collections of faces
University of St Andrews（圣安德鲁斯大学）
我们感兴趣的是在不受控制的环境中获得的大型未标记的集合的人脸集的基于身份的检索。给定用于测量两个人脸集的相似性的基线算法，本文中介绍的元算法试图利用数据语料库的结构来最好地利用可用的基线。特别是，我们展示了如何利用人际相似性的部分传递性来提高检索特别具有挑战性的集合，这些集合在基线测量下与查询匹配得很差。我方：（i）描述使用代理集作为计算两个集之间的相似性的手段，（ii）基于集之间的外观变化的突出模式的相似性引入传递性元特征，（iii）示出如何在没有任何标记或人工干预的情况下从这些特征学习准传递性，和（iv）通过在众所周知的具有挑战性的YouTube数据库和文献中的两个成功基线上的实验来证明所提出的方法的有效性。
2016-04-14 cs.CV
Scene Text Retrieval via Joint Text Detection and Similarity Learning
Huazhong University of Science and Technology（华中科技大学）；Huawei Cloud & AI（华为云与人工智能）
场景文本检索的目标是从图像库中定位和搜索与给定查询文本相同或相似的所有文本实例。这样的任务通常通过将查询文本与由端到端场景文本定位器输出的识别的单词进行匹配来实现。在本文中，我们通过直接学习查询文本和自然图像中的每个文本实例之间的跨模态相似度来解决这个问题。具体来说，我们建立了一个端到端的可训练网络，共同优化场景文本检测和跨模态相似性学习的过程。以这种方式，场景文本检索可以简单地通过将检测到的文本实例与学习到的相似性进行排名来执行。在三个基准数据集上的实验表明，我们的方法始终优于最先进的场景文本定位/检索方法。特别是，所提出的联合检测和相似性学习的框架实现了显着更好的性能比单独的方法。代码可从以下网址获得：https://github.com/lanfeng4659/STR-TDSL。
2021-04-04 cs.CV
3rd Place: A Global and Local Dual Retrieval Solution to Facebook AI Image Similarity Challenge
AI Technology Center, Online-Video BU, Tencent（腾讯在线视频事业部AI技术中心）
图像相似性检索作为计算机视觉的一项基本任务，正面临着大规模数据和图像拷贝攻击的挑战。本文介绍了Facebook AI组织的2021年图像相似性挑战赛（ISC）匹配赛道的第三名解决方案。我们提出了一个多分支检索方法相结合的全局描述符和局部描述符，以覆盖所有的攻击情况。具体而言，我们尝试了许多策略来优化全局描述符，包括丰富的数据增强，使用单个Transformer模型的自监督学习，重叠检测预处理。此外，我们引入了鲁棒的SIFT特征和GPU Faiss进行局部检索，弥补了全局检索的不足。最后，使用KNN匹配算法来判断匹配和合并分数。我们展示了我们的方法的一些消融实验，这揭示了全局和局部特征的互补优势。
2021-12-29 cs.CV
Instance-weighted Central Similarity for Multi-label Image Retrieval
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；Chinese Academy of Sciences（中国科学院）
深度哈希算法通过将高维数据点编码为二进制码进行高效检索，已被广泛应用于大规模图像检索。与基于成对/三重相似性的哈希学习相比，基于中心相似性的哈希可以更有效地捕获全局数据分布。然而，对于多标签图像检索，以往的方法只使用多个等权值的哈希中心生成一个质心作为学习目标，忽略了哈希中心权值与图像中实例区域比例之间的关系。为了解决上述问题，我们提出了一个两步的替代优化方法，实例加权中心相似性（ICS），自动学习对应于哈希码的中心权重。首先，我们应用最大熵正则化器来防止一个哈希中心支配损失函数，并通过投影梯度下降计算中心权重。其次，我们更新神经网络参数的标准反向传播与固定的中心权重。更重要的是，学习的中心权重可以很好地反映图像中前景实例的比例。我们的方法在图像检索基准上达到了最先进的性能，特别是在MS COCO数据集上提高了1.6%-6.4%的mAP。
2022-09-20 cs.CV
Image-to-Image Retrieval by Learning Similarity between Scene Graphs
Kakao Brain（Kakao大脑）
场景图以结构化和符号化的方式概括了图像的高层内容，两幅图像的场景图之间的相似性反映了它们内容的相关性。基于这一思想，我们提出了一种新的方法，用于图像到图像检索使用场景图相似性测量的图神经网络。在我们的方法中，图神经网络被训练来预测代理图像相关性度量，该度量是使用预先训练的句子相似性模型从人类注释的标题计算的。我们收集并发布由人类注释者测量的图像相关性数据集，以评估检索算法。所收集的数据集表明，我们的方法与人类对图像相似性的感知比其他竞争基线一致。
2020-12-29 cs.CV cs.IR cs.LG
Central Similarity Quantization for Efficient Image and Video Retrieval
National University of Singapore（新加坡国立大学）；Tencent AI Lab（腾讯人工智能实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的数据相关哈希方法通常从成对或三元组数据关系中学习哈希函数，只能局部地捕捉数据的相似性，学习效率低，碰撞率低。在这项工作中，我们提出了一个新的\emph{global}相似性度量，被称为\emph{central similarity}，与鼓励的哈希码相似的数据对，以接近一个共同的中心和那些不相似的数据对收敛到不同的中心，以提高哈希学习效率和检索精度。我们主要通过引入一个新的概念来公式化所提出的中心相似性度量的计算，即，\emph{hash center}是指分散在汉明空间中的一组数据点，彼此之间具有足够的相互距离。然后，我们提供了一个有效的方法来构建良好分离的哈希中心，利用阿达玛矩阵和伯努利分布。最后，我们提出了中心相似性量化（CSQ），优化数据点之间的中心相似性w.r.t.它们的哈希中心，而不是优化局部相似性。CSQ是通用的，适用于图像和视频哈希场景。在大规模图像和视频检索任务上的大量实验表明，CSQ可以为相似数据对生成内聚哈希码，为不相似数据对生成分散哈希码，检索性能显著提高，mAP比现有技术提高了3%~ 20%.代码位于：\url{https://github.com/yuanli2333/Hadamard-Matrix-for-hashing}
2020-03-31 cs.CV
Optimizing Top Precision Performance Measure of Content-Based Image Retrieval by Learning Similarity Function
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Centerfield Corporation（Centerfield公司）；Cornell University（康奈尔大学）；Shandong Medical College（山东医学高等专科学校）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Soochow University（苏州大学）；California State University San Bernardino（加州州立大学圣贝纳迪诺分校）；Travelers Canada（旅行者加拿大公司）
本文研究了基于内容的图像检索问题。在这个问题中，最流行的性能度量是最高精度度量，而检索系统的最重要组成部分是用于将查询图像与数据库图像进行比较的相似性函数。然而，到目前为止，还没有现有的相似性学习方法提出优化的最高精度的措施。为了填补这一空白，在本文中，我们提出了一种新的相似性学习方法，以最大限度地提高最高精度的措施。我们将此问题建模为最小化问题，目标函数为排名在前不相关图像之后的相关图像的损失和相似性函数参数的平方Frobenius范数的组合。这个最小化问题被解决为二次规划问题。在两个基准数据集上的实验表明，当以最高精度作为性能指标时，该方法优于其他相似性学习方法。
2016-08-20 cs.CV
Enhancing Historical Image Retrieval with Compositional Cues
Computer Vision Lab, TU Wien（计算机视觉实验室，维也纳技术大学）
针对历史图像检索忽视非语义信息的问题，提出将CNN提取的图像构图线索显式融入检索模型，同时利用构图与语义信息，实验证明该方法优于仅依赖内容的方法，能更符合人类感知地检索图像。
2024-03-21 cs.AI cs.CV eess.IV
Finding More Relevance: Propagating Similarity on Markov Random Field for Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Raytheon BBN Technologies（雷神BBN技术公司）；Tianjing University（天津大学）
如何从大规模的语料库中高效、准确地检索对象是一个具有挑战性的课题。在本文中，我们提出了一种方法，传播视觉特征水平的相似性的马尔可夫随机场（MRF），以获得高层次的对应关系，在图像空间中的图像对。所提出的图像对之间的对应关系不仅反映了底层视觉特征的相似性，而且还反映了数据库中其他图像之间的关系，并且可以很容易地集成到现有的基于视觉词袋（BoW）的系统中，以降低丢失率。我们在标准的Oxford-5 K，Oxford-105 K和Paris-6 K数据集上评估了我们的方法。实验结果表明，该方法在三个数据集上的检索准确率都有明显提高，超过了当前最先进的检索性能。
2013-12-26 cs.CV
Similarity Guided Deep Face Image Retrieval
Seoul National University（首尔大学）
随着图像数据库规模的快速增长，人脸图像检索，即从查询输入的人脸图像中搜索具有相同身份的图像，受到了越来越多的关注。为了进行快速准确的检索，人们提出了一种基于紧凑哈希码的方法，最近，带有监督分类训练的深度人脸图像哈希方法表现出了出色的性能。然而，基于分类的方案有一个缺点，它不能揭示复杂的相似性人脸图像到哈希码学习。在本文中，我们试图提高人脸图像检索的质量，提出了一种相似性指导哈希（SGH）方法，它轻轻地考虑自我和成对的相似性同时。SGH采用各种数据增强，旨在探索面部图像之间的复杂相似性，解决内部和内部身份方面的困难。广泛的实验结果与现有的基准协议和另外提出的大规模更高分辨率的人脸图像数据集表明，我们的SGH提供了最先进的检索性能。
2021-07-11 cs.CV cs.IR
Cluster-Aware Similarity Diffusion for Instance Retrieval
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对成对亲和图易传播离群点和其他流形错误信息的问题，提出簇感知相似度扩散CAS，通过局部簇内扩散、双向逆约束及邻居平滑提升实例检索与目标重识别效果。
2025-01-05 cs.CV cs.LG
Hierarchical Similarity Learning for Language-based Product Image Retrieval
Zhejiang University（浙江大学）；Zhejiang Gongshang University（浙江工商大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
本文针对基于语言的产品图像检索任务。以往的研究工作在网络结构设计、相似性度量和损失函数等方面取得了很大的进展。然而，无论图像固有的多粒度如何，它们通常以一定的粒度执行视觉文本匹配。本文针对跨模态相似性度量问题，提出了一种新的层次相似性学习网络。HSL首先通过堆叠编码器学习输入数据的多级表示，并在每一级上计算对象粒度相似度和图像粒度相似度。所有的相似性被组合作为最终的分层跨模态相似性。在一个大规模的产品检索数据集上的实验证明了该方法的有效性。代码和数据可在https://github.com/liufh1/hsl上获得。
2021-02-18 cs.CV cs.IR cs.MM
Extending DeepSDF for automatic 3D shape retrieval and similarity transform estimation
Department of Electrical Engineering and Computer Sciences（电气工程与计算机科学系）；University of California, Berkeley（加州大学伯克利分校）
计算机图形学和计算机视觉的最新进展已经发现基于符号距离函数（SDF）的3D形状的深度神经网络模型的成功应用，所述符号距离函数（SDF）对于形状表示、检索和完成是有用的。然而，这种方法受到需要具有与训练期间观察到的查询形状相同的规范尺度和姿势的限制，从而限制了其在现实世界场景中的有效性。我们提出了一种配方，以克服这个问题，共同估计形状和相似性变换参数。我们进行实验，以证明这种配方的合成和真实的数据集的有效性，并报告有利的比较，最后，我们还强调这种方法作为一种形式的3D模型压缩的可行性。
2020-10-26 cs.CV
3D-CSL: self-supervised 3D context similarity learning for Near-Duplicate Video Retrieval
NetEase Yidun AI Lab（网易易盾人工智能实验室）
在本文中，我们介绍了3D-CSL，一个紧凑的管道近重复视频检索（NDVR），并探讨了一种新的自监督学习策略的视频相似性学习。以往的方法大多是从视频帧中单独提取视频空间特征，然后设计各种复杂的机制来学习帧特征之间的时间相关性。然而，部分时空依赖性已经丢失。为了解决这个问题，我们的3D-CSL提取全球时空依赖性的视频端到端的3D Transformer，并找到一个很好的平衡效率和效果之间的匹配剪辑级。此外，我们提出了一个两阶段的自监督相似性学习策略，以优化整个网络。首先，我们提出PredMAE来预训练具有视频预测任务的3D Transformer;其次，提出了ShotMix（一种新的视频增强算法）和FCS loss（一种新的三元组丢失算法）来进一步提高相似性学习的效果。在FIVR-200 K和CC_WEB_VIDEO上的实验证明了该方法的优越性和可靠性，达到了剪辑级NDVR的最佳性能。
2022-11-10 cs.CV
Integrating Visual and Semantic Similarity Using Hierarchies for Image Retrieval
Laboratoire Interdisciplinaire des Environnements Continentaux, Université de Lorraine（洛林大学大陆环境跨学科实验室）；Georgia Tech Europe（佐治亚理工学院欧洲校区）；LTER- “Zone Atelier Moselle”（长期生态研究网络-“摩泽尔核心研究区”）
针对CBIR中视觉相似但语义不相关的检索问题，提出利用深度分类网络潜空间中类别重叠构建视觉层次，并将其融入距离度量，在CUB-200-2011、CIFAR100及硅藻显微图像用例中取得更优检索性能。
2023-08-16 cs.CV
Discriminative Supervised Subspace Learning for Cross-modal Retrieval
Jiangnan University（江南大学）
异构数据间的度量是目前跨模态检索中的一个未解决的问题。跨模态检索的核心是如何度量不同类型数据之间的相似性。已经开发了许多方法来解决这个问题。作为主流方法之一，基于子空间学习的方法注重学习一个公共子空间，在该子空间中可以直接度量多模态数据之间的相似性。然而，许多现有的方法只专注于学习一个潜在的子空间。它们忽视了对判别信息的充分利用，使得语义结构信息没有得到很好的保留。因此，无法达到预期的满意结果。本文提出了一种判别式监督子空间学习的跨模态检索算法（DS 2L），以充分利用判别信息，更好地保留语义结构信息。具体来说，我们首先构建一个共享的语义图，以保持每个模态内的语义结构。然后引入Hilbert-Schmidt独立性准则（HSIC）来保持样本的特征相似度和语义相似度之间的一致性。第三，我们引入了一个相似性保持项，从而我们的模型可以弥补不足的歧视性数据的使用和更好地保持语义结构信息内的每一个模态。在三个著名的基准数据集上的实验结果表明，该方法相对于经典的子空间学习方法的有效性和竞争力。
2022-01-26 cs.AI cs.CV cs.LG
Improved Deep Classwise Hashing With Centers Similarity Learning for Image Retrieval
City University of Hong Kong（香港城市大学）
基于深度监督哈希算法的图像检索以其高效性和优越的检索性能而受到研究者的关注。现有的大多数基于成对/三元组标签的深度监督哈希算法存在计算成本高和语义信息利用率低的问题。最近，深度类哈希引入了一种由类标签信息交替监督的类损失;然而，我们发现它仍然有其缺点。在本文中，我们提出了一种改进的深度类哈希，它可以同时进行哈希学习和类中心学习。具体来说，我们设计了一个两步的中心相似性学习策略。它与类间损失相互作用，吸引类中心集中在类内样本上，同时尽可能地推动其他类中心。中心相似性学习有助于生成更紧凑和有区别的散列码。我们在三个基准数据集上进行了实验。实验结果表明，在各种常用的图像检索评价指标下，该方法有效地超越了原方法，并优于最先进的基线。
2021-03-17 cs.CV cs.IR
Supervised Metric Learning to Rank for Retrieval via Contextual Similarity Optimization
Boston University（波士顿大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对图像检索度量学习易受噪声标签影响、依赖大量数据的问题，提出同时优化余弦与上下文相似度的 contextual loss，在四个基准上达到新最优。
2023-06-02 cs.CV cs.LG
Image Retrieval using Histogram Factorization and Contextual Similarity Learning
Ocean University of China（中国海洋大学）；Nanjing University（南京大学）
图像检索一直是计算机视觉和机器学习领域的热门课题。基于内容的图像检索，试图从数据库中检索视觉上与查询图像相似的图像，引起了人们的广泛关注。图像检索的两个最重要的问题是图像的表示和排序。最近，基于词袋的方法已经显示出其作为表示方法的能力。此外，非负矩阵分解也是一种流行的方法来表示数据样本。此外，上下文相似性学习也被研究和证明是一个有效的方法的排名问题。然而，这些技术从未被一起使用过。在本文中，我们开发了一个有效的图像检索系统表示每幅图像使用的词袋的方法直方图，然后应用非负矩阵分解，分解的直方图，最后学习排名分数使用上下文相似性学习方法。在一个大规模的图像数据库上对该系统进行了测试，结果表明了该系统的有效性。
2013-04-09 cs.CV cs.DB cs.LG
Symmetric Multi-Similarity Loss for EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2024
The Hong Kong Polytechnic University（香港理工大学）
针对2024年EPIC-KITCHENS-100多实例检索挑战赛中现有损失未充分利用软标签相关矩阵的问题，提出对称多相似性损失，结合技巧与集成学习取得冠军成绩。
2024-06-18 cs.CV
3D Shape Retrieval via Irrelevance Filtering and Similarity Ranking (IF/SR)
University of Southern California（南加州大学）
提出了一种基于内容的三维形状检索方法，该方法采用无监督聚类方法，不需要任何三维形状的标签信息。建议的形状检索系统由两个模块级联：不相关过滤（IF）模块和相似性排名（SR）模块。IF模块试图通过同时检查全局和局部特征来聚类彼此相似的图库形状。然而，在局部特征空间中接近的形状在全局特征空间中可能是遥远的，反之亦然。为了解决这个问题，我们提出了一个联合成本函数，在两个距离之间取得平衡。在局部特征空间中接近但在全局特征空间中远离的不相关样本可以在该阶段中被移除。剩余的图库样本在SR模块中使用本地特征进行排名。在流行的SHREC 12数据集上进行的大量实验证明了所提出的IF/SR方法的优越性能。
2017-01-30 cs.CV
Fashion Retrieval via Graph Reasoning Networks on a Similarity Pyramid
SenseTime Research（商汤科技研究院）；Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
在电子商务中，将顾客的服装图像与网上商店的服装图像进行匹配有着丰富的应用。现有的算法将图像编码为全局特征向量，并使用全局表示进行检索。然而，歧视性的局部信息的衣服被淹没在这个全球表示，导致次优性能。为了解决这个问题，我们提出了一种新的图形推理网络（GRNet）的相似性金字塔，学习查询和画廊布之间的相似性，通过使用多个尺度的全球和本地表示。相似度金字塔由相似度图表示，其中节点表示不同尺度的服装组件之间的相似度，并且通过沿边缘传递消息来获得最终匹配得分。在GRNet中，通过训练图卷积网络来解决图推理，从而能够对齐突出的服装组件以改善服装检索。为了方便未来的研究，我们引入了一个新的基准FindFashion，包含丰富的边界框，视图，遮挡和裁剪的注释。大量的实验表明，GRNet在两个具有挑战性的基准上获得了新的最先进的结果，例如，将DeepFashion上的前1名、前20名和前50名的准确率推到26%、64%和75%（即，4%、10%和10%的绝对改善），以较大的利润率超越竞争对手。在FindFashion上，GRNet在所有经验设置上都取得了相当大的改进。
2019-08-30 cs.CV
Learning Deep Similarity Models with Focus Ranking for Fabric Image Retrieval
Sun Yat-sen University（中山大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；Western Kentucky University（西肯塔基大学）；Guilin University of Electronic Technology（桂林电子科技大学）
织物图像检索在服装搜索、网上购物、织物建模等方面有着广泛的应用。学习图像的两两相似性对于图像检索任务是非常重要的。随着卷积神经网络（CNN）的复兴，最近的研究工作通过深度表示学习和度量嵌入取得了重大进展，这种方法使相似的样本在特征空间中彼此靠近，而不相似的样本彼此远离。在本文中，我们提出了一种新的嵌入方法，称为焦点排名，可以很容易地统一到一个CNN的背景下，细粒度的织物图像检索联合学习图像表示和度量。焦点排序的目的是通过最小化归因于相似样本被排序在不相似样本之下的总成本来惩罚排序紊乱，从而将相似样本排序高于所有不相似样本。在训练阶段，训练样本被组织成焦点排序单元以进行有效的优化。我们建立了一个大规模的织物图像检索数据集（FIRD）约25,000图像的4,300织物，并测试所提出的模型上FIRD数据集。实验结果表明，该模型优于现有的度量嵌入模型。
2017-12-29 cs.CV
Central Similarity Multi-View Hashing for Multimedia Retrieval
Zhejiang Lab（之江实验室）
针对现有多视图哈希方法仅用局部相似度、特征融合不充分导致检索准确率低的问题，提出结合中心相似度学习与门控融合的CSMVH方法，在两个基准数据集上mAP最高提升11.41%。
2023-08-26 cs.CV cs.IR cs.MM
Learning to embed semantic similarity for joint image-text retrieval
Bar-Ilan University（巴伊兰大学）
我们提出了一种深度学习方法，用于学习图像和字幕在欧氏空间中的联合语义嵌入，使得语义相似性由嵌入空间中的L2距离近似。为此，我们引入了一个度量学习方案，利用多任务学习学习使用中心损失嵌入相同的语义概念。通过将可微量化方案引入端到端可训练网络，我们推导出欧几里得空间中语义相似概念的语义嵌入。我们还提出了一种新的度量学习公式，使用自适应边缘铰链损失，这是在训练阶段完善。该方案被应用于MS-COCO，Flicke 30 K和Flickr 8 K数据集，并与当代最先进的方法进行了比较。
2022-10-07 cs.CV
Cross-Media Similarity Evaluation for Web Image Retrieval in the Wild
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）
为了通过文本查询检索未标记图像，跨媒体相似性计算是一个关键组成部分。虽然新的方法不断推出，已经做了一些评估这些方法与大规模的查询日志分析。因此，这些方法在回答真实用户查询方面给我们带来了多大的帮助尚不清楚。鉴于使用相对简单的文本/图像匹配计算跨媒体相似性的基线方法，高级模型取得了多大进展也不清楚。本文从语用学的角度对这两个问题进行了探讨。根据所提出的查询可视性度量，将查询自动分类，然后将其连接到三个测试集上的多个跨媒体相似性模型的评估。这样的连接表明，国家的最先进的成功主要是由于他们的良好性能的面向视觉的查询，而这些查询只占一小部分的真实用户查询。为了量化目前的进展，我们提出了一个简单的text 2 image方法，表示一个新的测试查询的一组图像从大规模的查询日志中选择。因此，计算测试查询和给定图像之间的跨媒体相似性归结为比较给定图像和所选图像之间的视觉相似性。在具有挑战性的Clickture数据集上进行的图像检索实验表明，所提出的text 2 image与最近基于深度学习的替代方案相比毫不逊色。
2018-01-06 cs.CV
Contextual Similarity Aggregation with Self-attention for Visual Re-ranking
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
在基于内容的图像检索中，通过简单的视觉特征比较的第一轮检索结果可能不令人满意，这可以通过视觉重排序技术来改善。在图像检索中，排名靠前的图像之间的上下文相似性是区分语义相关性的重要线索。受此启发，本文提出了一种基于自注意的上下文相似度聚合的视觉重排序方法。在我们的方法中，对于前K排名列表中的每个图像，我们通过将其与一组锚图像进行比较来将其表示为亲和度特征向量。然后，通过用Transformer编码器聚合上下文信息来细化前K个图像的亲和度特征。最后，亲和度特征被用来重新计算查询和前K个图像之间的相似性分数，以重新排名后者。为了进一步提高重排序模型的鲁棒性和增强算法的性能，设计了一种新的数据增强方案。由于我们的重排序模型不直接涉及在初始检索中使用的视觉特征，它是准备被应用到从各种检索算法获得的检索结果列表。我们在四个基准数据集上进行了全面的实验，以证明我们提出的视觉重排序方法的通用性和有效性。
2021-10-26 cs.CV
Exploring Content Based Image Retrieval for Highly Imbalanced Melanoma Data using Style Transfer, Semantic Image Segmentation and Ensemble Learning
Gujarat Technological University（古吉拉特理工大学）
病变图像经常在开放设置中拍摄。由于图像数据的多样性，卷积神经网络很难找到合适的特征并具有良好的泛化能力，因此很难建立基于内容的病变图像检索（CBIR）系统。本文探讨了这一领域，并提出了多个相似性措施，使用风格损失和骰子系数通过一个新的相似性措施称为I1-得分。在提出的CBIR相似性度量中，纯风格损失方法比传统的方法如欧氏距离和余弦相似性实现了显着的准确性提高。使用风格损失的I1分数表现优于传统方法的一个小的利润率，而，I1分数与骰子系数公平非常差。所使用的模型使用集成学习进行训练，以获得更好的泛化能力。
2021-10-12 cs.CV
Image Retrieval System Base on EMD Similarity Measure and S-Tree
Hue University（顺化大学）；HoChiMinh city University of Food Industry（胡志明市食品工业大学）
本文基于彩色图像中像素的百分比来实现图像的二值化特征，同时基于EMD（Earth Mover's Distance）建立图像间的相似性度量。此外，本文还提出了一种基于相似测度EMD的S树存储图像二值签名，以实现图像签名数据的快速查询。在此基础上，本文提出了一种基于经验模态分解和S树的图像检索算法和基于内容的图像检索（CBIR）。在此理论基础上，本文在一个拥有一万多幅图像的数据库系统上进行了图像查询过程的应用和实验评估。
2015-06-03 cs.CV cs.IR
