Batch Evaluation Metrics in Information Retrieval: Measures, Scales, and Meaning
最近的一系列论文已经考虑了测量尺度在信息检索(IR)实验中的作用,并且提出了应该使用(仅)均匀步长间隔尺度的论点,并且因此,诸如倒数秩、期望倒数秩、归一化折扣累积增益和平均精度之类的公知度量应该被丢弃作为测量工具,或者被适配成使得它们的度量值位于数字线上的均匀间隔的点处。这些论文描绘了过去几十年IR评估的一幅相当黯淡的画面,与社区对实际实验和可衡量的改进的整体强调不一致。我们这项工作的目的是挑战这一立场。特别是,我们认为,从分类和有序的数据映射到数线上的点集是有效的,提供了一个外部的原因,每个目标点已被选中。我们首先考虑测量尺度的一般作用,以及分类、有序、区间、比率和绝对数据汇集的一般作用。关于前两个类别,我们还提供了一些知识的例子,这些知识是由实数行的数字映射捕获和表示的。然后集中在信息检索,我们认为,文档排序是分类数据,有效性度量的作用是提供一个单一的值,表示有用的用户或人口的用户的任何给定的排名,有用性能够表示为一个连续变量的比例尺度。也就是说,我们认为,目前的IR指标是有根据的,而且,这些指标是更有意义的,在其目前的形式比在拟议的“间隔”版本。
2022-07-07 cs.IR
Controlled Retrieval-augmented Context Evaluation for Long-form RAG
University of Amsterdam(阿姆斯特丹大学);Leiden University(莱顿大学);Johns Hopkins University, HLTCOE(约翰斯·霍普金斯大学,HLTCOE)
CRUX提出了一种受控检索增强上下文评估框架,用于评估长形式RAG任务中检索增强上下文的质量和影响。
2026-01-09 cs.IR
Variational Autoencoder with CCA for Audio-Visual Cross-Modal Retrieval
跨模态检索是利用一种模态作为查询从另一种模态检索数据,它已成为信息检索、机器学习和数据库领域的热门课题。如何有效地度量不同模态数据之间的相似性是跨模态检索面临的主要挑战。虽然一些再建模工作已经通过学习公共子空间表示来计算不同模态数据之间的相关性,但是编码器从多模态信息中提取特征的能力并不令人满意。本文提出了一种新的用于视听跨模态检索的变分自编码器(VAE)结构,通过学习成对的视听相关嵌入和类别相关嵌入作为约束来增强视听信息的相互性。一方面,音频编码器和视频编码器分别将音频数据和视频数据编码到两个不同的潜在空间中。进一步,通过典型相关分析(CCA)分别构造了两个互潜空间。另一方面,概率建模方法用于处理数据中可能存在的噪声和缺失信息。此外,以这种方式,来自模态内和模态间信息的跨模态差异在联合嵌入子空间中被同时消除。我们在两个基准数据集上进行了广泛的实验。实验结果表明,该架构是有效的学习视听相关性,是明显优于现有的跨模态检索方法。
2021-12-05 cs.IR
MA-DPR: Manifold-aware Distance Metrics for Dense Passage Retrieval
University of Toronto(多伦多大学);Vector Institute of Artificial Intelligence(人工智能向量研究所)
针对DPR嵌入在非线性流形上导致传统距离失效的问题,提出基于最近邻图最短路径的流形感知距离度量MA-DPR,在OOD检索任务上最高提升26%且推理开销极小。
2025-09-16 cs.IR
An Intrinsic Framework of Information Retrieval Evaluation Measures
本文基于表征测量理论提出检索测度的内在框架,仅利用测度取得值即可判定其度量与尺度属性,并据此对常见IR评价测度进行三类划分。
2023-04-02 cs.IR
Evaluating Stochastic Rankings with Expected Exposure
我们引入了\emph{expected exposure}的概念,作为平均关注度排名项目收到来自用户的重复样本相同的查询。此外,我们主张采用平等的预期曝光原则:给定一个固定的信息需求,没有一个项目的预期曝光应该比相同相关性等级的任何其他项目更多或更少。我们认为,这一原则是可取的许多检索目标和场景,包括主题多样性和公平的排名。利用现有的检索指标的用户模型,我们提出了一个通用的评估方法,基于预期的曝光和绘制连接到相关的指标在信息检索评估。重要的是,这种方法放松了经典的信息检索假设,允许系统响应于查询产生一个\emph{distribution over rankings},而不是一个单一的固定排名。我们研究的行为,预期的曝光度量和随机排名在各种信息访问条件,包括\emph{ad hoc}检索和推荐。我们相信,使用随机化来测量和优化预期的暴露度量为检索算法的开发和进步开辟了一个新的领域。
2020-10-20 cs.IR
Exploiting the Bipartite Structure of Entity Grids for Document Coherence and Retrieval
语篇连贯是指语篇在逻辑组织和语篇流动方面的意义。尽管一致性是一个相对难以精确量化的概念,但它可以自动近似。这种类型的一致性建模不仅本身有趣,而且对许多其他文本处理任务也很有用,包括信息检索(IR),其中根据相关性和一致性调整文档的排名已被证明可以提高检索效率[34,37]。无监督连贯性建模的最新技术将文档表示为句子和话语实体的二分图,然后将这些二分图投影到单模式无向图中。然而,单模投影可能会导致原始二分结构中存在的信息的显著损失。为了解决这个问题,我们提出了三个新的图形度量,计算文件的连贯性的句子和实体的原始二分图。对标准设置的评估表明:(i)我们的一致性度量之一在一致性准确性方面击败了最先进的技术;以及(ii)我们的所有三个一致性度量都提高了检索效率,因为正如更仔细的分析所揭示的那样,它们捕获了基于关键字的标准排名和垃圾邮件过滤未检测到的文档质量方面。这项工作有助于文件的一致性度量,理论上是原则性的,无参数,和有用的IR。
2016-08-02 cs.IR
Learning Decorrelated Hashing Codes for Multimodal Retrieval
在社交网络中,异构的多媒体数据相互关联,例如YouTube中的视频及其对应的标签和Facebook中的图像-文本对。在大数据集上跨多模态的最近邻检索成为一个热点而又具有挑战性的问题。哈希被认为是一种有效的解决方案,因为它将数据表示为二进制代码。由于按位异或运算可以快速处理,检索时间大大减少。现有的多模式散列方法很少考虑散列位之间的相关性。相关性对散列码有负面影响。当散列码长度变长时,检索性能的改善变慢。在本文中,我们提出了一个最小相关正则化(MCR)的多峰哈希。首先,使用sigmoid函数嵌入数据矩阵。然后,将MCR应用于sigmoid函数的输出。由于sigmoid函数的输出近似于一个二进制码矩阵,因此该MCR可以有效地对散列码进行解相关。实验结果表明,随着编码长度的增加,该方法的优越性越来越大。
2019-05-22 cs.IR
Accurate and Fast Retrieval for Complex Non-metric Data via Neighborhood Graphs
Carnegie Mellon University(卡内基梅隆大学)
我们证明了一个基于图的搜索算法,依赖于一个近似的邻域图的建设,可以直接与具有挑战性的非度量和/或非对称的距离,而不诉诸度量空间映射和/或距离对称化,这反过来又会导致大量的性能下降。虽然直接的度量化和对称化通常是无效的,但我们发现使用修改的,例如,对称的距离可以提高性能。这一观察为设计特定于索引的图构造距离函数的新研究路线铺平了道路。
2019-10-08 cs.IR cs.LG
An Analysis of Variations in the Effectiveness of Query Performance Prediction
查询性能预测器估计IR系统对于给定查询的检索有效性。QPP评估的一个重要特征是,由于用于QPP评估的地面真值检索有效性可以用不同的度量来测量,因此地面真值本身不是绝对的,这与其他检索任务(例如ad-hoc检索)相反。出于这一论点,本文的目的是调查如何在地面真理的QPP评估的差异可能会影响QPP实验的结果。我们不仅根据所报告的评估指标的绝对值(例如Pearson的$r$、Kendall的$τ$)来考虑这一点,而且还考虑到当按QPP指标分数排序时不同QPP系统的等级变化。我们的实验表明,观察到的QPP结果可以有很大的不同,无论是在绝对的评估指标值,也在相对系统排名。通过我们的分析,我们报告了QPP评估指标和实验设置的最佳组合,这些组合可能会导致观察结果的较小变化。
2022-02-13 cs.IR
Multimodal Metric Learning for Tag-based Music Retrieval
Pandora(潘多拉)
基于标签的音乐检索是高效浏览大规模音乐库的关键。因此,自动音乐标记一直在积极探索,主要是作为一个分类任务,它有一个固有的限制:一个固定的词汇。另一方面,度量学习通过使用预训练的词嵌入作为辅助信息来实现灵活的词汇表。此外,度量学习已经证明了其适用于其他领域的跨模态检索任务(例如,文本到图像)。在本文中,我们研究了三个想法,成功地引入多模态度量学习的标签为基础的音乐检索:精心制作的三重采样,声学和文化的音乐信息,和特定领域的词嵌入。我们的实验结果表明,所提出的想法提高了检索系统的定量,定性。此外,我们还发布了MSD 500,这是百万歌曲数据集(MSD)的一个子集,包含500个清理标签,7个手动注释标签类别和用户品味配置文件。
2020-10-30 cs.IR cs.MM cs.SD
Learning Joint Embedding for Cross-Modal Retrieval
跨模态检索过程是使用一种模态中的查询来获得另一种模态中的相关数据。跨模态检索的挑战性问题在于如何消除异构数据之间的相似性计算,这在图像-文本、音频-文本和视频-文本跨模态多媒体数据采掘和检索中得到了广泛的讨论。然而,不同的数据模态的时间结构的差距没有得到很好的解决,由于缺乏时间跨模态结构之间的对齐关系。我们的研究重点是学习不同模态之间的相关性,以完成跨模态检索任务。我们提出了一个架构:监督深度典型相关分析(S-DCCA),跨模态检索。在这篇论坛论文中,我们将讨论如何利用三元组神经网络(TNN)来增强跨模态检索的相关学习。实验结果表明,在监督学习提取数据表示时,本文提出的基于TNN的监督相关学习结构可以获得最佳的结果。
2019-08-21 cs.IR cs.MM
Rank-Deviation Quality: A Distance-Aware Metric for Multi-Answer Retrieval and Ranking Evaluation
Amazon(亚马逊)
研究人员提出适用于多答案检索与排序评估的RDQ指标,该指标基于序数排序,兼顾返回项与排序,在POI数据集和TREC基准测试中展现出良好性能。
2026-08-27 cs.IR
The Tangent Search Engine: Improved Similarity Metrics and Scalability for Math Formula Search
随着世界范围内数据数量和种类的不断增加,Web已经成为数学公式的丰富存储库。这就需要创建一个健壮的、可扩展的数学信息检索系统,用户可以使用单独的公式(按表达式查询)或关键字和公式的组合来搜索数学信息。通常,最能满足用户信息需求的页面包含的表达式只能近似匹配查询公式。对于试图定位或重新找到特定表达式、浏览相似公式或非数学专家的用户,公式的相似性更多地取决于符号的相对位置,而不是深层数学语义。我们提出了最大子树相似性(MSS)度量查询的表达式,产生直观的排名公式的基础上,他们的外观,所表示的类型和符号的相对位置。由于对大型集合中的所有公式应用度量的成本太高,因此我们首先使用元组上的倒排索引检索表达式,该元组对符号对之间的关系进行编码,使用Dice系数对命中进行排名。然后使用MSS对前k个公式进行重新排名。我们的方法在NTCIR-11维基百科公式检索基准上获得了最先进的性能,并且在索引空间和整体检索时间方面都是有效的。其他图形形式的检索系统,包括化学图表,流程图,图形和表格,也可以受益于采用我们的方法。
2015-07-22 cs.IR
MLAIRE: Multilingual Language-Aware Information Retrieval Evaluation Protocol
Korea University(韩国大学)
本文提出MLAIRE评估协议,用于评估多语言信息检索中语言感知维度,引入语言偏好率和Lang-nDCG等指标,分析语义检索与查询语言偏好之间的差异。
2026-11-04 cs.IR
Combining Text and Formula Queries in Math Information Retrieval: Evaluation of Query Results Merging Strategies
特定于数学的信息检索是在文档和查询中将文本与数学公式相结合。对查询扩展进行了严格的评估,并给出了在查询中结合数学和标准文本关键词的合并策略。结果表明,类似于那些已知的从文本查询处理的技术可以应用在数学信息检索,以及,并导致尖端的性能。分条和合并来自子查询的部分结果是一种改进由信息检索评估度量(如Bclock)测量的结果的技术。
2015-08-08 cs.IR
Differential Geometric Retrieval of Deep Features
Cortexica Vision Systems Limited(Cortexica视觉系统有限公司);Imperial College London(伦敦帝国理工学院)
比较图像以从图像库存中推荐项目是持续感兴趣的主题。加上深度学习架构的可扩展性,曾经的手工制作特征的“手工”工作在很大程度上得到了缓解,并且可以根据深度卷积神经网络生成的特征来比较图像。在本文中,我们比较距离度量(和分歧),排名功能产生的神经网络,基于内容的图像检索。具体而言,在使用混合模型或稀疏协方差估计的近似值对单个图像进行建模后,我们诉诸于它们的信息理论和黎曼几何比较。我们表明,使用近似的混合模型,使我们能够计算的距离测量的基础上的Wasserstein度量,需要更少的努力比其他计算密集型的最佳运输计划;最后,用仿射不变度量来比较最优传输度量与其黎曼几何对应度量--我们得出结论,虽然昂贵,基于Wasserstein几何的检索度量比图像的信息论比较更合适。简而言之,我们将学习深度特征向量的GPU可扩展性与我们预计将在商业环境中使用的统计有效指标相结合。
2017-11-12 cs.CV cs.IR
PCTD: Preference-Guided Counterfactual Task Decomposition for Agent Tool Retrieval
Northeastern University(东北大学);Beijing University of Posts and Telecommunications(北京邮电大学);Honor Device Co., Ltd(荣耀终端有限公司)
研究针对任务分解中因直接用检索指标作奖励易致奖励作弊及削弱域外泛化能力的问题,提出偏好引导反事实任务分解框架PCTD,通过反事实和偏好奖励改进,构建基准MTDTool,实验证明其在多方面超越现有方法。
2026-07-20 cs.IR
Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage
Johns Hopkins University(约翰霍普金斯大学);National Institute of Standards and Technology(国家标准与技术研究院);University of New Hampshire(新罕布什尔大学)
研究检索质量与生成响应信息覆盖的关系,发现基于覆盖的检索指标与生成响应中的要点覆盖强相关,支持用检索指标代理RAG性能。
2026-06-23 cs.AI cs.IR
Graph-Aware Late Chunking for Retrieval-Augmented Generation in Biomedical Literature
Methodological Implementation Research, Ottawa Hospital Research Institute(方法学实施研究,渥太华医院研究所在职);School of Engineering Design and Teaching Innovation, University of Ottawa(工程设计与教学创新学院,渥太华大学)
本文提出GraLC-RAG框架,结合图感知结构智能与后期分块技术,通过结构感知分块、UMLS知识图谱融合和图引导混合检索,提升生物医学文献多部分信息检索与生成质量。
2026-03-23 cs.AI cs.IR
Large Scale Question Paraphrase Retrieval with Smoothed Deep Metric Learning
University of Trento(特伦托大学);Amazon Alexa(亚马逊Alexa)
问题释义检索(QPR)系统的目标是检索与原始问题结果相同的等价问题。这样一个系统可以用来理解和回答罕见的和嘈杂的常见问题的重新表述,通过将它们映射到一组规范形式。这对于社区问答(cQA)和开放域口语问答系统具有大规模应用。在本文中,我们描述了一个新的QPR系统实现的神经信息检索(NIR)系统组成的一个神经网络句子编码器和一个近似的k-最近邻索引有效的矢量检索。我们还描述了我们的机制,通过远程监督自动从问答日志生成一个注释数据集的问题释义检索实验。我们表明,近红外中的标准损失函数(三重态损失)在有噪标签的情况下表现不佳。我们提出了平滑深度度量损失(SDML),并通过我们在两个QPR数据集上的实验,我们表明它在嘈杂的标签设置中显着优于三重损失。
2019-05-29 cs.AI cs.CL cs.IR
Dirac Notation, Fock Space and Riemann Metric Tensor in Information Retrieval Models
本文以狄拉克符号为工具,研究了三种经典的信息检索模型及其扩展。我们表明,几乎所有这样的模型可以描述的向量占用数表示(ONR)的福克空间与各种规格,例如,占用数、内积或项-项交互作用。作为重要的研究案例,本文引入了布尔模型的概念福克空间(CFS),并利用Dirac符号对潜在语义索引(LSI)模型的奇异值分解(SVD)的基本公式进行了操作。在奇异值分解的基础上,引入了一种黎曼度量张量,它不仅可以用来计算文档与查询的相关性,还可以用来度量数据聚类中文档的贴近度。
2011-06-20 cs.IR math-ph math.MP
MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation
Indic aiDias Team(Indic aiDias团队)
针对监管领域FRAG系统的检索与回答性能问题,提出多阶段调优的检索方法MST-R,在RIRAG挑战赛数据集上取得领先成绩,同时发现RePASs指标存在可被利用的漏洞并给出研究启示。
2024-12-13 cs.IR cs.LG
Self-supervised Auxiliary Loss for Metric Learning in Music Similarity-based Retrieval and Auto-tagging
Sony Computer Science Laboratories, Inc(索尼计算机科学实验室公司);Koozyt, Inc(Koozyt公司)
本文提出一种结合自监督辅助损失的度量学习方法,用于提升音乐相似度检索与自动标注性能,并发现联合训练监督与自监督信号、微调阶段不使用数据增强更有效。
2023-04-15 cs.IR cs.LG cs.SD
Do Lessons from Metric Learning Generalize to Image-Caption Retrieval?
University of Amsterdam(阿姆斯特丹大学)
半硬底片的三重丢失已经成为从头开始优化的图像字幕检索(ICR)方法的事实上的选择。度量学习的最新进展产生了新的损失函数,在图像检索和表示学习等任务上优于三重损失。我们问这些发现是否推广到ICR的设置,通过比较三个损失函数的两个ICR方法。我们否定地回答这个问题:在ICR任务上,半硬否定挖掘的三重损失仍然优于从度量学习中新引入的损失函数。为了更好地理解这些结果,我们引入了一种分析方法来比较损失函数,通过计算有多少样本对梯度w.r.t.优化过程中的查询表示。我们发现,损失函数,导致较低的评估分数的ICR任务,在一般情况下,采取太多的(非信息)样本时,计算梯度w.r.t.查询表示,这导致次优性能。具有半硬负的三重态损失被示出优于其他损失函数,因为当计算梯度时,它仅考虑一个(硬)负。
2022-02-14 cs.AI cs.CV cs.IR
On Background Bias in Deep Metric Learning
University of Würzburg(维尔茨堡大学)
深度度量学习训练神经网络将输入图像映射到低维嵌入空间,使得相似图像比不相似图像更接近。当用于项目检索时,使用训练的模型嵌入查询图像,并且来自存储其相应嵌入的数据库的最接近的项目被返回作为查询的最相似的项目。特别是在产品检索中,用户通过拍摄产品的照片来搜索特定产品,图像背景通常并不重要,因此不应影响嵌入过程。理想情况下,检索过程总是返回拍摄对象的拟合项,而不管照片拍摄的环境如何。本文利用五种常见的损失函数和三种常见的数据集,分析了图像背景对深度度量学习模型的影响。我们发现深度度量学习网络容易出现所谓的背景偏差,这可能导致在推理过程中改变图像背景时检索性能严重下降。我们还表明,在训练过程中用随机背景图像替换图像的背景可以解决这个问题。由于我们使用自动背景去除方法来进行背景替换,因此在推理时间保持不变的情况下,不需要额外的手动标记工作和模型更改。定性和定量分析,其中我们引入了一个新的评价指标,证实了模型训练与替换背景出席更多的图像中的主要对象,有利于项目检索系统。
2022-10-04 cs.CV cs.IR
Evaluating Retrieval Quality in Retrieval-Augmented Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
提出eRAG评估方法,通过大型语言模型单独处理检索列表中的每个文档并基于下游任务真实标签评估输出,有效提升与下游RAG性能的相关性并大幅降低计算成本。
2024-04-21 cs.CL cs.IR
RAGVUE: A Diagnostic View for Explainable and Automated Evaluation of Retrieval-Augmented Generation
University of Luxembourg(卢森堡大学)
RAGVUE通过分解RAG行为并提供结构化解释,实现无参考的自动评估,揭示RAG流程中的细粒度失败。
2025-12-03 cs.CL cs.IR
Redefining Retrieval Evaluation in the Era of LLMs
Sapienza University of Rome(萨皮恩扎罗马大学);Technology Innovation Institute(技术创新研究所)
针对传统IR指标与RAG中LLM消费方式错位的问题,提出效用与干扰感知的UDCG指标,在五个数据集和六个LLM上将相关性提升高达36%。
2025-10-24 cs.CL cs.IR
VERA: Validation and Evaluation of Retrieval-Augmented Systems
Amazon(亚马逊公司)
本文提出VERA框架,通过cross-encoder综合评分与文档库级Bootstrap置信界,提升RAG系统评估的透明度、可靠性及负责任AI落地能力。
2024-08-16 cs.AI cs.IR
IRSC: A Zero-shot Evaluation Benchmark for Information Retrieval through Semantic Comprehension in Retrieval-Augmented Generation Scenarios
PengCheng Laboratory(鹏城实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Southern University of Science and Technology(南方科技大学)
本文提出IRSC基准,通过引入SSCI和RCCI新指标评估多语言RAG场景下嵌入模型的检索性能,揭示了其跨语言局限性,促进了准确检索系统的发展。
2024-09-26 cs.AI cs.IR
Deep Triplet Neural Networks with Cluster-CCA for Audio-Visual Cross-modal Retrieval
跨模态检索是指通过一种模态的查询来检索另一种模态的数据,是多媒体、信息检索、计算机视觉和数据库等领域的一个研究热点。现有的研究主要集中在文本-图像、文本-视频、歌词-音频之间的跨模态检索,由于音视频配对数据集和语义信息有限,对音视频之间的跨模态检索研究较少。视听跨模态检索任务的主要挑战集中在从共享子空间学习联合嵌入以计算不同模态之间的相似性,其中生成新的表示是最大化视听模态空间之间的相关性。在这项工作中,我们提出了一种新的具有聚类典型相关分析的深度三元组神经网络(TNN-C-CCA),这是一种具有音频分支和视频分支的端到端监督学习架构。我们不仅考虑公共空间中的匹配对,而且在最大化相关性时计算失配对。特别地,做出了两个重要贡献:i)通过构建具有用于最佳投影的三元组损失的深度三元组神经网络,可以生成更好的表示,以最大化共享子空间中的相关性。ii)在学习阶段使用正例和反例,以提高音频和视频之间的嵌入学习能力。我们的实验是运行在5倍交叉验证,其中平均性能被应用到演示性能的音频-视频跨模态检索。在两个不同的音频视频数据集上的实验结果表明,本文提出的两个分支的学习结构优于现有的六种基于CCA的方法和四种基于最新技术的跨模态检索方法。
2021-05-05 cs.IR cs.MM
Heterogeneous Metric Learning with Content-based Regularization for Software Artifact Retrieval
Chinese Academy of Sciences(中国科学院);Rutgers University(罗格斯大学);NEC Laboratories China(NEC中国实验室);University of Technology Sydney(悉尼科技大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
软件工件检索问题的目标是在大型代码库中有效地定位软件工件,例如一段源代码。这个问题传统上通过文本查询来解决。换句话说,信息检索技术将基于查询和软件工件的文本表示之间的文本相似性来开发,该文本表示通过从程序的注释、标识符和描述中收集单词来生成。然而,除了这些语义信息之外,源代码本身还嵌入了丰富的信息。这些源代码,如果分析得当,可以是一个丰富的资源,以提高软件工件检索的努力。为此,本文提出了一种基于源代码的特征提取方法。具体地说,该方法既可以捕获源代码中的固有信息,又可以捕获隐藏在源代码的注释、描述和标识符中的语义信息。此外,我们设计了一个异构的度量学习方法,它允许集成代码功能和文本功能到同一个潜在的语义空间。反过来,这可以通过利用代码和文本特征的联合能力来帮助测量工件相似性。最后,大量的实验表明,该方法可以帮助提高软件工件检索的性能与显着的利润。
2014-09-25 cs.IR cs.LG cs.SE
Learning Shared Semantic Space with Correlation Alignment for Cross-modal Event Retrieval
Guangdong University of Technology(广东工业大学);City University of Hong Kong(香港城市大学);South China University of Technology(华南理工大学);The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了学习共享语义空间与相关对齐(${S}^{3}CA$)的多模态数据表示,对齐非线性相关性的多模态数据分布在深神经网络设计的异构数据。在跨模态(事件)检索的背景下,我们设计了一个具有卷积层和全连接层的神经网络来提取图像的特征,包括类似Flickr的社交媒体上的图像。同时,我们利用一个完全连接的神经网络提取文本的语义特征,包括新闻媒体的新闻文章。特别地,在两个神经网络中的层激活的非线性相关性在网络的联合训练期间与相关性对准对准。此外,我们项目的多模态数据到一个共享的语义空间的跨模态(事件)检索,异构数据样本之间的距离可以直接测量。此外,我们贡献了一个Wiki-Flickr事件数据集,其中多模态数据样本不像现有的成对数据集那样成对地描述彼此,但它们都描述语义事件。在配对和非配对数据集上进行的大量实验表明了${S}^{3}CA$的有效性,优于最先进的方法。
2019-05-22 cs.CV cs.IR cs.MM
Coverage, Not Averages: Semantic Stratification for Trustworthy Retrieval Evaluation
Scale AI
本文提出语义分层方法,通过构建可解释的实体聚类空间,解决检索评估中覆盖性和稳定性问题,提升评估的透明度和可信度。
2026-04-22 cs.AI cs.IR cs.LG
Metric Compatible Training for Online Backfilling in Large-Scale Retrieval
Seoul National University(首尔大学);Meta;University of Central Florida(中佛罗里达大学)
针对图像检索模型升级中回填计算成本高的问题,提出一种在线回填算法,通过距离排名合并、反向变换模块和度量兼容对比学习,在不牺牲新模型最终性能的前提下实现渐进性能提升。
2024-12-19 cs.CV cs.IR cs.LG
Geodesic Semantic Search: Cartographic Navigation of Citation Graphs with Learned Local Riemannian Maps
本文提出Geodesic Semantic Search (GSS),通过在引文图上学习节点特定的黎曼度量,实现几何感知的语义检索。不同于传统基于嵌入的检索依赖固定欧几里得距离,GSS在每个节点学习低秩度量张量,诱导局部正定度量,从而在保持模型可计算性的同时保证有效度量。检索过程通过多源Dijkstra算法在学习的测地距离上进行,随后通过最大边际相关性重排序和路径一致性过滤。在包含169,000篇arXiv论文的引文预测基准上,GSS在Recall@20上比SPECTER+FAISS基线提升了23%。我们提供了Bridge Recovery Guarantee,描述了测地检索在定性上优于直接相似性的情况,以及训练损失与检索质量的边际分离结果,并刻画了低秩度量参数化的表达能力。我们的分层粗到细检索方法结合k-means池化,将计算成本降低4倍,同时保持97%的检索质量。
2026-06-04 cs.IR cs.LG cs.SI
Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods
本研究比较多种文档切分方法,发现递归字符切分器优于令牌切分器,并引入基于开源模型生成问答对的新型评估技术,利用加权指标(如BLEU、BERT Score)为RAG系统建立更精确的评估标准。
2024-09-20 cs.AI cs.IR
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Hong Kong University of Science and Technology(香港科技大学)
很少有研究集中在跨模态相关学习,其中考虑到不同的数据模态,如音频和歌词的时间结构。基于音乐的时间结构特点,我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中,我们提出了一个深度跨模态相关学习架构,涉及用于音频模态和文本模态(歌词)的双分支深度神经网络。不同的模态数据被转换到同一个典型空间,其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性,以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层(全连接深度神经网络)来表示歌词。在音频分支中做出了两个重要贡献,如下:i)研究了预训练的CNN,然后是完全连接的层,用于表示音乐音频。ii)我们进一步提出了一种端到端架构,可以同时训练卷积层和全连接层,以更好地学习音乐音频的时间结构。特别是,我们的端到端深度架构包含两个属性:同时实现特征学习和跨模态相关学习,以及通过考虑时间结构来学习联合表示。实验结果,使用音频检索歌词或使用歌词检索音频,验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Studying Retrievability of Publications and Datasets in an Integrated Retrieval System
在本文中,我们调查的数据集和出版物在现实生活中的数字图书馆(DL)的检索。可检索性的度量最初是为了量化检索系统对信息获取的影响而开发的。可检索性还可以使DL工程师能够评估他们的搜索引擎,以确定访问集合中内容的难易程度。根据这种方法,在我们的研究中,我们提出了一个面向系统的方法来研究数据集和出版物检索。本文的一个特点是专注于测量各种类型的DL项目的可及性偏差,并包括有用性的度量。在其他指标中,我们使用洛伦兹曲线和基尼系数来可视化两种可检索文档类型(特别是数据集和出版物)的差异。实证结果表明,在不同类型的文档之间的可检索性得分的差异。
2022-05-02 cs.DL cs.IR
Semantic Role Aware Correlation Transformer for Text to Video Retrieval
Institute for Infocomm Research, A*STAR(A*STAR资讯通信研究院);School of Computer Science and Engineering, NTU(南洋理工大学计算机科学与工程学院);Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
随着社交媒体的出现,每天都会上传大量的视频片段,使用语言查询检索最相关的视觉内容变得至关重要。大多数方法的目标是学习一个联合嵌入空间的纯文本和视觉内容,没有充分利用其内部的模态结构和模态间的相关性。本文提出了一种新的Transformer,它将文本和视频明确地分解为对象、空间上下文和时间上下文的语义角色,并通过注意力机制来学习这三种角色之间的角色内和角色间的相关性,从而发现不同层次的区分特征进行匹配。在流行的YouCook2上的初步结果表明,我们的方法超越了当前最先进的方法,在所有指标上都有很高的利润率。它还在两个指标方面超过了两个SOTA方法。
2022-06-26 cs.CV cs.IR cs.LG
TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation
IRT-SystemX(SystemX研究院)
研究基于LLM驱动自动构建的知识图谱评估问题,引入TRIAGE框架,通过特定阶段指标对知识图谱构建与使用各阶段评估,可定位失败环节并给出改进方向。
2026-07-07 cs.AI cs.CL cs.IR
Empowering Large Language Models to Set up a Knowledge Retrieval Indexer via Self-Learning
Renmin University of China(中国人民大学);Institute for Advanced Algorithms Research(高等算法研究院)
本文提出PG-RAG框架,通过让LLM自主阅读并构建伪图知识库,在检索时整合事实路径,显著提升问答性能,超越现有基线。
2024-05-27 cs.CL cs.IR
Multimodal Representation Alignment for Cross-modal Information Retrieval
University of Luxembourg(卢森堡大学)
本文研究多模态表示对齐对跨模态检索的影响,通过对比不同度量标准和嵌入空间,发现余弦相似度在对齐任务中表现最佳,同时 Wasserstein 距离提供了分布差异的补充视角。
2026-06-28 cs.AI cs.IR
Asymmetric Correlation Quantization Hashing for Cross-modal Retrieval
Shanghai Jiao Tong University(上海交通大学)
由于跨模态散列方法在大规模多模态数据的相似性计算和数据库存储方面的优势,在异构模态数据的相似性检索中引起了广泛的关注。然而,目前的CMH方法仍存在一些不足:(1)大多数CMH方法在二进制约束条件下将实值数据点转换为离散的紧致二进制码,由于大量的信息丢失和产生次优的哈希码,限制了对原始数据的表示能力;(2)离散二进制约束学习模型求解困难,当量化误差较大时,放松二进制约束会大大降低检索性能;(3)CMH的学习问题是在对称框架下处理的,导致优化目标的困难和复杂。针对上述问题,本文提出了一种新的非对称相关量化哈希算法。ACQH通过学习异构模态数据点的投影矩阵,将查询转换为潜在语义空间中的低维实值向量,同时通过逐点标签信息回归,以由粗到精的方式构造堆叠的组合量化嵌入,通过码本中的一系列学习的实值码字来指示数据库点。此外,统一的散列码跨模态可以直接获得离散迭代优化框架的文件。在三个基准数据集上的综合实验表明了ACQH的有效性和合理性。
2020-01-14 cs.CV cs.IR cs.LG
Performance Evaluation in Multimedia Retrieval
针对多媒体检索实验因用例特异性强难以对比复现的问题,提出可表述检索实验全维度的形式化模型,并配套灵活开源评估基础设施,以降低实验门槛、提升可复现性。
2024-10-09 cs.IR cs.MM
Measuring and Addressing Indexical Bias in Information Retrieval
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);Meta AI
本文针对信息检索中的索引偏差问题,提出 PAIR 审计框架和通用自动偏差度量指标 DUO,并在大规模争议议题语料上验证了其预测读者观点变化的能力。
2024-06-06 cs.CL cs.IR
Retrieval of Experiments by Efficient Estimation of Marginal Likelihood
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);Aalto University(阿尔托大学);University College London(伦敦大学学院);University of Helsinki(赫尔辛基大学)
我们研究的任务,检索相关的实验给定的查询实验。实验是指从一组“协变量”和相关“结果”中收集测量结果。虽然可以通过比较现有的“注释”来检索类似的实验,但这种方法忽略了测量本身中的宝贵信息。为了将这些信息的检索任务,我们建议采用检索度量,利用概率模型从测量中学习。我们认为,这样的度量是一个明智的措施,因为它允许包含实验特定的先验知识的两个实验之间的相似性。然而,准确的模型往往不是分析,必须诉诸于存储后验样本,这需要相当多的资源。因此,我们研究的策略,选择信息后验样本,以减少计算量,同时保持检索性能。我们证明了我们的方法的有效性模拟数据与简单的线性回归作为模型,和现实世界的数据集。
2014-02-19 cs.IR cs.LG stat.ML
Effective Retrieval of Resources in Folksonomies Using a New Tag Similarity Measure
社会(或大众分类)标签已经成为描述Web 2.0网站内容的一种非常流行的方式。然而,由于标签是非正式定义的,不断变化的,不受控制的,它经常被批评为降低,而不是提高,搜索效率。为了解决这个问题,已经提出了各种方法,这些方法在标记和查找资源时都向用户推荐要使用的标签。这些技术在密集的大众分类中工作得很好,但是当标签使用呈现幂律分布时,它们就不能这样做了,因为它经常发生在现实生活中的大众分类中。为了解决这个问题,我们提出了一种方法,诱导创建一个密集的folksonomy,在一个完全自动和透明的方式:当用户标记资源,一个创新的标签相似性度量部署,所以丰富所选的标签集与相关的标签已经存在于folksonomy。建议的度量,这是我们的方法的核心,是基于相互加强的原则。我们的实验评估证明,我们的度量保证的搜索的准确性和覆盖率高于应用经典度量所取得的成绩。
2012-07-25 cs.IR cs.SI
Bibliometrics and Information Retrieval: Creating Knowledge through Research Synergies
该小组汇集了文献计量学和信息检索方面的专家,讨论这两个重要的信息科学领域如何相互促进。越来越多的文献利用了通过将每种方法结合起来所产生的协同作用,以解决与如何创建、存储、组织、检索和使用信息有关的研究问题和实际问题。会议将首先概述IR和指标之间存在的共同线索,然后是BIR研讨会的调查结果摘要和研究项目的示例,这些研究项目结合了每个领域的各个方面,以使IR或指标研究领域受益,包括搜索结果排名,语义索引和可视化。该小组将与观众进行讨论,以确定未来的研究和合作领域。
2016-08-29 cs.DL cs.IR
Anchor-aware Deep Metric Learning for Audio-visual Retrieval
KDDI Research, Inc.(KDDI研究所);Hiroshima University(广岛大学)
针对音视频跨模态检索中训练数据稀缺导致嵌入空间探索不充分的问题,提出锚点感知深度度量学习方法,通过构建相关图流形结构并利用注意力机制动态加权生成数据代理计算相对距离,显著提升了检索性能并超越了现有模型。
2024-04-21 cs.AI cs.IR cs.MM
A Systematic Literature Review of Retrieval-Augmented Generation: Techniques, Metrics, and Challenges
本综述系统分析了2020至2025年5月间128篇高被引RAG研究,总结其技术、评估实践与挑战,并指出未来研究方向。
2025-09-09 cs.AI cs.CL cs.DL
Class Anchor Margin Loss for Content-Based Image Retrieval
University of Bucharest(布加勒斯特大学)
针对CBIR中度量学习配对挖掘低效、统计学习特征不够紧凑的问题,提出无需配对、直接优化L2度量的类别锚点间隔损失及锚点驱动的两阶段检索系统,并在多数据集与两类架构上验证其更优、更稳定。
2023-06-03 cs.CV cs.IR cs.LG
LLM-based User-Product Relevance Evaluation for Dynamic Product Advertising
Snap Inc.(Snap公司)
针对动态商品广告检索系统评估的痛点,提出基于LLM的用户-商品相关性指标,结合智能体提示框架实现高效稳定评估,与业务指标高度相关可加速检索迭代。
2026-10-14 cs.AI cs.IR cs.LG