Top-Down Partitioning for Efficient List-Wise Ranking
针对滑动窗口在列表式重排序中无法并行、冗余计算及自底向上偏差的问题,提出自顶向下划分算法,利用枢轴元素实现并行,在深度100下减少约33%推理调用且性能不变。
2024-05-23 cs.IR
How to aggregate Top-lists: Approximation algorithms via scores and average ranks
top-list是一个可能不完整的元素排名:只有一个元素的子集被排名,所有未排名的元素都排在最后。顶级列表聚合是著名的排名聚合问题的推广,它将顶级列表的集合作为输入,并将它们聚合成一个完整的排名,旨在最大限度地减少upsets(在输入和输出中以相反顺序排列的对)的数量。在本文中,我们给出了简单的近似算法的顶列表聚集。* 我们推广了foottrule算法的秩聚集。* 利用批准投票的灵感,我们将元素的得分定义为元素排名的频率,即出现在输入列表中的频率。我们重新解释Ailon的RepeatChoice算法的顶级列表聚合使用得分的元素和它的平均排名,它是排名。* 使用平均秩,我们推广和分析Borda的秩聚合算法。* 我们设计了一个简单的2阶段的广义Borda算法的变体,粗略地按分数排序,并打破平均等级的关系。* 然后,我们设计了另一个2阶段的变体,为了打破联系,我们使用,作为一个黑盒子,Mathieu-Schudy PTAS的排名聚合,产生一个PTAS的顶部列表聚合。* 最后,我们讨论了所有输入列表都具有恒定长度的特殊情况。
2019-10-10 cs.DS cs.IR
Explain like I am BM25: Interpreting a Dense Model's Ranked-List with a Sparse Approximation
University of Glasgow(格拉斯哥大学);Adobe(奥多比)
针对神经检索模型可解释性不足的问题,本文提出通过最大化其结果与稀疏检索结果集相似度来生成等价查询,并与 RM3 查询扩展比较检索效果和生成词项。
2023-04-25 cs.CL cs.IR
Information Retrieval via Truncated Hilbert-Space Expansions
除了术语在文档集合中的频率之外,术语的分布在确定文档的相关性方面起着重要作用。本文提出了一种新的表示文档中术语位置的方法。该方法允许一个有效的评估的术语位置信息在查询评估时间。三个应用程序进行了研究:一个基于功能的排名优化表示一个用户定义的文档区域,一个查询扩展技术的基础上重叠的长期分布在排名靠前的文件,和聚类分析的条款在文件中。实验结果证明了该方法的有效性。
2009-10-10 cs.IR
Computing Entity Semantic Similarity by Features Ranking
本文提出了一种新的方法来估计语义实体相似性使用实体的功能作为关联数据。其关键思想是利用从关联数据源中提取的特征的排名列表,作为要比较的实体的表示。然后,通过比较两个实体的特征排序列表来估计它们之间的相似性。本文描述了使用DBpedia中的博物馆数据、LOD目录中的数据集以及DBLP存储库中的计算机科学会议进行的实验。实验表明,实体相似性,使用排名的功能列表计算,达到更好的准确性比国家的最先进的措施。
2018-11-06 cs.IR cs.SI
Ranked List Truncation for Large Language Model-based Re-Ranking
University of Amsterdam(阿姆斯特丹大学);University of Waterloo(滑铁卢大学);Leiden University(莱顿大学)
本文从“检索后重排序”视角研究排序列表截断(RLT),在TREC数据集上复现并评估了8种RLT方法在3种检索器和2种重排序器组合下的表现,为LLM重排序优化提供了新见解。
2024-04-28 cs.AI cs.CL cs.IR
Learning a Deep Listwise Context Model for Ranking Refinement
学习排序在信息检索中得到了广泛的研究和应用。通常,全局排名函数是从一组标记数据中学习的,其平均可以实现良好的性能,但由于忽略了不同查询的相关文档在特征空间中可能具有不同分布的事实,因此对于单个查询可能是次优的。受伪相关反馈的想法,排名靠前的文件,我们称之为\textit{local ranking context},可以提供重要的信息查询的特点,我们建议使用固有的功能分布的顶部结果来学习一个深Listwise上下文模型,帮助我们微调初始排名列表。具体来说,我们采用了一个递归神经网络,使用它们的特征向量顺序编码顶部结果,学习局部上下文模型,并使用它来重新排名顶部结果。我们的模型有三个优点:(1)我们的模型可以使用深度神经网络基于顶部结果之间的复杂交互来捕获局部排名上下文;(2)我们的模型可以通过直接使用现有的学习排名方法提取的特征向量来构建;(3)我们的模型使用基于注意力的损失函数进行训练,这比许多现有的列表方法更有效和高效。实验结果表明,该模型可以显着改善最先进的学习排序方法在基准检索语料库。
2018-04-23 cs.IR
Offline Comparison of Ranking Functions using Randomized Data
排名函数返回已排名的项目列表,用户经常与这些项目进行交互。如何使用历史交互日志评估排名函数,也称为离线评估,是一个重要但具有挑战性的问题。常用的逆倾向分数(IPS)方法对于单个项目的情况下工作得更好,但遭受极低的数据效率的排名列表的情况下。在本文中,我们研究如何提高数据效率的IPS方法在离线比较设置。我们提出了两种方法Trunc-match和Rand-interleaving使用均匀随机数据进行离线比较。我们表明,这些方法可以提高数据的效率和比较灵敏度的基础上最大的电子邮件搜索引擎之一。
2018-10-11 cs.IR
Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora
针对演化语料库中检索结果不可复现的问题,提出结合Lucene与列存储版本化索引的混合检索系统,支持时间旅行查询并保持原始排名,实现完全可复现。
2024-11-06 cs.IR
An Adversarial Imitation Click Model for Information Retrieval
现代信息检索系统,包括网络搜索、广告投放和推荐系统,通常依赖于从用户反馈中学习。点击模型,研究用户如何与排名的项目列表进行交互,为学习排名模型提供了对用户反馈的有用理解。构建“正确的”依赖关系是任何成功的点击模型的关键。然而,概率图模型(PGMs)必须依赖于手动分配的依赖关系,并过度简化用户行为。现有的基于神经网络的方法通过增强表达能力和允许灵活的依赖性来促进PGMs,但仍然遭受暴露偏差和劣估计。在本文中,我们提出了一个新的框架,对抗模仿点击模型(AICM),基于模仿学习。首先,我们显式地学习奖励函数,以恢复用户的内在效用和潜在意图。其次,我们将用户交互与排名列表建模为一个动态系统,而不是一步点击预测,从而缓解了曝光偏差问题。最后,我们通过对抗训练最小化JS分歧,并学习点击序列的稳定分布,这使得AICM在不同分布的排名列表中具有很好的泛化能力。理论分析表明,AICM将暴露偏倚从$O(T^2)$降低到$O(T)$。我们对公共网络搜索数据集的研究表明,AICM不仅在传统的点击度量方面优于最先进的模型,而且在解决曝光偏差和恢复点击序列的潜在模式方面也取得了优异的性能。
2021-04-19 cs.IR
Cascading Hybrid Bandits: Online Learning to Rank for Relevance and Diversity
University of Amsterdam(阿姆斯特丹大学);Bloomberg(彭博);Ahold Delhaize(阿霍德·德尔海兹)
相关性排序和结果多样化是现代推荐系统的两个核心领域。相关性排名旨在建立一个按项目相关性降序排序的排名列表,而结果多样化则侧重于生成一个涵盖广泛主题的项目排名列表。在本文中,我们研究了一个在线学习设置,旨在推荐一个排名列表,其中包含最大化排名效用的$K$项目,即,一个列表,其中的项目是相关的,其主题是多样化的。我们将其表述为级联混合土匪(CHB)问题。CHB假设级联用户行为,其中用户从上到下浏览显示的列表,单击第一个有吸引力的项目,并停止浏览其余的。我们提出了一个混合上下文强盗的方法,称为CascadeHybrid,解决这个问题。CascadeHybrid使用两个独立的函数对项目相关性和主题多样性进行建模,并同时从用户点击反馈中学习这些函数。我们在两个真实世界的推荐数据集上进行实验来评估CascadeHybrid:MovieLens和Yahoo音乐数据集。我们的实验结果表明,CascadeHybrid优于基线。此外,我们证明了理论上的保证$n$步骤的性能,证明了CascadeHybrid的健全。
2020-08-12 cs.IR cs.LG stat.ML
Whose Posts Get Ranked: Identical-Text Exposure Gaps in Bluesky Custom Feeds
Northeastern University(东北大学)
本文研究Bluesky自定义信息流中相同文本的曝光差距,发现新作者相同文本曝光更少,粉丝更多的新作者仍在74%的对比中落败,证明多信息流访问不足以实现相同文本平等曝光。
2026-08-17 cs.IR cs.SI
In-Context Learning as an Effective Estimator of Functional Correctness of LLM-Generated Code
本文提出基于上下文学习的代码质量估计方法,通过少样本功能正确代码示例提升现有QPP和零样本方法在无测试用例场景下估计LLM生成代码功能正确性的性能。
2025-07-07 cs.IR cs.SE
Cheap IR Evaluation: Fewer Topics, No Relevance Judgements, and Crowdsourced Assessments
为了评估信息检索(IR)的有效性,一种可能的方法是使用测试集合,它由一组文档,一组信息需求描述(称为主题),以及一组与每个主题相关的文档组成。测试集合在竞争场景中建模:例如,在众所周知的TREC倡议中,参与者在一组主题上运行他们自己的检索系统,并且他们提供检索文档的排名列表;一些检索文档(通常是排名第一的)构成所谓的池,其相关性由人类评估员评估;文档列表然后用于计算有效性度量并对参与者系统进行排名。私人网络搜索公司也进行内部评估;虽然细节大多不为人知,目标也有所不同,但总体方法与测试收集方法有几个问题。这项工作的目的是:(一)发展和改善一些国家的最先进的工作,同时节省资源的IR有效性的评估,和(ii)提出一种新的,更原则和工程,整体的方法来测试收集的有效性评估。[...]
2020-11-01 cs.IR
Top-N-Rank: A Scalable List-wise Ranking Method for Recommender Systems
Pennsylvania State University(宾夕法尼亚州立大学);South China University of Technology(华南理工大学)
我们提出了Top-N-Rank,一种新颖的列表式学习排名模型,用于可靠地推荐N个排名靠前的项目。所提出的模型优化了广泛使用的折扣累积增益(DCG)目标函数的变体,其在两个重要方面不同于DCG:(i)它将DCG的评估仅限于排名列表中的前N个项目,从而消除了低排名项目对学习的排名函数的影响;以及(ii)它结合了允许模型利用具有不同可靠性或可信度级别的多种类型的隐式反馈的权重。由于得到的目标函数是非光滑的,因此优化具有挑战性,我们考虑使用传统的S形函数和校正线性单元(ReLU)对目标函数进行两个光滑近似。我们提出了一个家庭的学习排名算法(Top-N-Rank),工作与任何光滑的目标函数。然后,引入了一个更有效的变体Top-N-Rank.ReLU,该变体有效地利用了ReLU函数的性质,将Top-N-Rank的计算复杂性从用户评分的平均项目数的二次降低到线性。我们使用两个广泛使用的基准测试,即MovieLens数据集和Amazon Video Games数据集的实验结果表明:(i)目标函数的“top-N截断”大大提高了前N个推荐的排名质量;(ii)与使用sigmoid相比,使用ReLU来平滑目标函数在排名质量和运行时间方面都有显着改善;以及(iii)Top-N-Rank.ReLU在排名质量方面大大优于表现良好的列表式排名方法。
2018-12-19 cs.IR cs.LG stat.ML
Surprise: Result List Truncation via Extreme Value Theory
Google Research(谷歌研究院)
信息检索的工作主要集中在排序和相关性上:给定一个查询,返回一些按相关性排序的结果给用户。然而,结果列表截断的问题,或者在哪里截断结果的排名列表,尽管在各种应用中是至关重要的,但却受到较少的关注。这种截断是在结果的总体相关性或有用性与处理更多结果的用户成本之间的平衡行为。结果列表截断可能具有挑战性,因为相关性分数通常没有很好地校准。这在大规模IR系统中尤其如此,其中文档和查询嵌入在相同的度量空间中,并且查询的最近文档邻居在推理期间返回。在这里,相关性与查询和候选文档之间的距离成反比,但是构成相关性的距离因查询而异,并且随着更多文档添加到索引而动态变化。在这项工作中,我们提出了惊喜评分,一种统计方法,利用广义帕累托分布,在极值理论产生可解释的和校准的相关性分数在查询时只使用排名分数。我们证明了它在图像,文本和IR数据集的结果列表截断任务上的有效性,并将其与经典和最近的基线进行比较。我们将假设检验和$p$值联系起来。
2020-10-19 cs.IR cs.LG stat.AP
A Probabilistic Position Bias Model for Short-Video Recommendation Feeds
针对短视频信息流中用户不离开而持续滚动导致现有位置偏差模型失效的问题,提出基于滚动预算分布生存函数的概率个性化位置偏差模型,以闭式估计曝光概率,并在大规模平台验证其更准确,支持无偏评估与学习排序。
2023-07-26 cs.IR
Learning to rank music tracks using triplet loss
Creaminal(克里米纳尔公司)
大多数音乐流媒体服务依赖于自动推荐算法来利用其庞大的音乐目录。这些算法的目的是检索排序列表的音乐曲目的基础上,他们与目标音乐曲目的相似性。在这项工作中,我们提出了一种方法,直接推荐的基础上的音频内容,而没有明确标记的音乐曲目。为此,我们提出了几种策略,从排名列表中进行三重挖掘。我们训练一个卷积神经网络,通过三重丢失来学习相似性。这些不同的策略进行了比较,并验证了一个大规模的实验对自动标记为基础的方法。所获得的结果突出了我们系统的效率,特别是当与自动池层相关联时。
2020-05-18 cs.CV cs.IR cs.SD
Learning-to-Rank with Nested Feedback
针对嵌套列表场景,提出一种有理论依据的方法将二级反馈整合到一级排序模型中,并在大规模推荐系统的在线实验中证实了其理论发现。
2024-01-08 cs.IR
List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对检索结果重排序与截断分离导致的上下文共享不足和错误累积问题,提出联合模型GenRT,基于编码器-解码器生成范式同时执行两项任务,并在公开基准上取得SOTA性能。
2024-02-05 cs.AI cs.CL cs.IR
On Ranking Consistency of Pre-ranking Stage
诸如广告系统之类的工业排名系统通过将多个目标聚集成一个最终目标来对项目进行排名,以满足用户需求和商业意图。级联结构,包括检索,预排名,排名阶段,通常采用,以减少计算成本。每个阶段可以针对不同的目标采用各种模型,并通过汇总这些模型的输出来计算最终目标。多阶段排名策略导致了一个新的问题-排名阶段和先前阶段的排名列表可能不一致。例如,应当被排名在排名阶段的顶部的项目可以被排名在先前阶段的底部。在本文中,我们专注于预排名和排名阶段之间的\textbf{ranking consistency}。具体来说,我们正式定义的问题的排名一致性,并提出了排名一致性分数(RCS)的评价指标。我们证明了排名的一致性对在线性能有直接的影响。与传统的主要关注各目标个体排序质量的评价方式相比,RCS考虑了融合后最终目标排序的一致性,更适合于评价。最后,从样本选择和学习算法的角度提出了几种提高排序一致性的方法。在中国最大的工业电子商务平台之一上的实验结果验证了所提出的指标和方法的有效性。
2022-11-03 cs.IR
Intent-aware Ranking Ensemble for Personalized Recommendation
本文提出意图感知排序集成模型IntEL,通过学习物品级个性化权重融合不同目标的排序列表,以同时满足用户多种行为意图,并在理论上和两个大规模数据集上验证了其有效性。
2023-04-15 cs.IR
Listwise Generative Retrieval Models via a Sequential Learning Process
本文提出一种列表式生成检索方法,通过序列学习过程优化docid列表生成,并引入相关性校准,在二元和多级相关性数据集上超越现有GR基线。
2024-03-19 cs.IR
SemEval-2013 Task 4: Free Paraphrases of Noun Compounds
Radboud University Nijmegen(拉德堡德大学);Universidade de Lisboa(里斯本大学);QCRI, Qatar Foundation(卡塔尔基金会卡塔尔计算研究所);University of Ottawa(渥太华大学);Polish Academy of Sciences(波兰科学院);University of Southern California(南加州大学);University of Cambridge(剑桥大学);University College Dublin(都柏林大学学院)
在本文中,我们描述了SemEval-2013任务4:定义,数据,评估和结果。任务是通过释义来捕捉英语名词复合词的一些含义。给定一个两个词的名词复合词,参与系统被要求产生一个明确的自由形式的释义排名列表。该列表会自动与人类注释者提出的类似排名的释义列表进行比较和评估,这些释义通过Amazon的Mechanical Turk进行招募和管理。“黄金”排名是基于注释者中释义的相对受欢迎程度。为了使排名更可靠,高度相似的释义被分组,以淡化句法和形态上的表面差异。三个系统参与了这项任务。他们在两个评估指标中的一个上都超过了一个简单的基线,但在两个指标上都没有。这表明任务是艰巨的。
2019-11-23 cs.AI cs.CL cs.IR
Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems
本文提出 GPRP 与 Full Stage Learning to Rank 统一框架,通过估计并适配下游阶段选择偏差优化多阶段推荐排序,并在仿真和短视频平台在线 A/B 测试中验证其显著收益。
2024-05-08 cs.IR
Influence of Neighborhood on the Preference of an Item in eCommerce Search
eBay Inc.(eBay公司)
在电子商务搜索中,为搜索查询提供一个排名的项目列表,以帮助买家发现库存并做出购买决策是一个关键问题。典型地,项目被独立地预测为具有关于给定搜索查询的销售概率。但是在像eBay这样的动态市场中,即使是单个产品,也有各种不同的因素将一个项目与另一个项目区分开来,这些因素会影响用户的购买决策。用户必须通过考虑所有这些选项来做出购买决定。现有的大多数学习排序算法只在损失函数(如成对或列表损失)处对标记项之间的相对相关性建模。但它们仅限于逐点评分函数,其中项目根据项目本身的特征独立排名。本文研究了物品的邻域对购买决策的影响。在这里,我们将邻域视为搜索结果中排名在当前项之上和之下的项。通过添加delta特征比较邻域内的项目并学习排名模型,我们能够通过实验证明具有delta特征的新排名器在平均倒数排名(MRR)方面优于我们的基线排名器。与基线模型相比,具有所提出的增量特征的排名模型导致MRR的$3-5\%$改进。我们还研究了不同大小的邻居的影响。实验结果表明,邻域大小$3$表现最好的MRR的基础上与$4-5\%$的基线模型的改进。
2019-10-17 cs.IR cs.LG
Language Fairness in Multilingual Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Glasgow(格拉斯哥大学)
本文针对多语言信息检索中的语言偏见问题,提出首个专门度量 MLIR 语言公平性的指标 PEER,并通过统计等价性检验和基准实验验证其有效性。
2024-05-02 cs.CL cs.IR
All Eyes on the Ranker: Participatory Auditing to Surface Blind Spots in Ranked Search Results
School of Computing Science University of Glasgow Glasgow United Kingdom;Information Sciences University of Strathclyde Glasgow United Kingdom;School of Computing Science University of Glasgow;Information Sciences University of Strathclyde
本文通过参与式审计揭示用户对排名搜索结果影响的认知盲点,探讨了参与式审计在揭示用户感知影响和问责缺口中的作用,同时指出了其局限性。
2026-04-10 cs.CY cs.IR
RankFormer: Listwise Learning-to-Rank Using Listwide Labels
Amazon(亚马逊);Ghent University(根特大学)
本研究针对传统排序学习忽略列表整体绝对反馈的问题,提出以Transformer为核心的RankFormer架构,联合优化列表级评估目标与传统列表式排序目标,实验证明其效果优于基线,可通过知识蒸馏快速落地。
2023-06-09 cs.IR cs.LG
DS4DH at TREC Health Misinformation 2021: Multi-Dimensional Ranking Models with Transfer Learning and Rank Fusion
本文介绍了数字健康数据科学(DS 4DH)小组在2021年TREC健康错误信息跟踪中的工作。TREC健康错误信息跟踪侧重于开发检索方法,为网络上与健康相关的搜索提供相关、正确和可信的信息。在我们的方法中,我们使用了两步排名方法,包括i)基于BM 25模型的标准检索阶段,以及ii)重新排名阶段,其中模型管道专注于检索文档的有用性,可靠性和可信度维度。为了估计有用性,我们使用基于在MS MARCO语料库上微调的Transformers架构的预训练语言模型对初始排名列表进行分类。为了评估重复性,我们利用了基于BERT的模型,这些模型在科学和维基百科语料库上进行了微调。最后,为了评估文档的可信度,我们采用了一个在Microsoft Credibility数据集上训练的随机森林模型,并结合了一系列可信网站。然后,使用倒数等级融合算法将所产生的排名列表合并,以获得有用、支持和可信文件的最终列表。我们的方法取得了有竞争力的结果,在自动运行的兼容性测量中排名前2。我们的研究结果表明,集成自动排名模型创建的每个信息质量维度与迁移学习可以提高健康相关的信息检索的有效性。
2022-02-14 cs.IR
Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments
Lyft(来福车);University of Washington(华盛顿大学);University of Warwick(华威大学)
本文提出双侧优先级排名(TSPR)方法,通过利用排名结果的位置偏差,在不破坏一致性的情况下创造处理暴露差异,以更准确估计价格变化的总平均处理效应。
2026-03-15 cs.IR cs.SI econ.EM
Metric Search for Rank List Compatibility Matching with Applications
本文提出一种基于Kendall-Tau距离和级联度量树的在线约会匹配算法,通过排名列表度量用户相似性,并在合成数据集上验证其在合理参数下可高效查询最佳匹配用户。
2023-08-10 cs.IR cs.SI