Active Learners as Efficient PRP Rerankers
ELIAS Lab, Departamento de Ingeniería, Universidad de San Andrés(ELIAS实验室,工程系,圣安德烈大学)
本文将PRP重排序问题重新定义为从噪声成对比较中进行主动学习,证明主动排序器在受限调用下能提升NDCG@10性能,并引入随机方向oracle以降低计算成本。
2026-05-15 cs.AI cs.CL cs.LG
A Statistical Framework for Ranking LLM-Based Chatbots
ICSI and Department of Statistics, University of California, Berkeley(ICSI和统计学系,加州大学伯克利分校);Department of Computer Science, University of California, Berkeley(计算机科学系,加州大学伯克利分校);ICSI, LBNL, and Department of Statistics, University of California, Berkeley(ICSI、劳伦斯伯克利国家实验室和统计学系,加州大学伯克利分校)
本文提出一个用于LLM聊天机器人成对比较排名的统计框架,通过引入因子化平局模型、协方差建模和新约束解决参数非唯一性,显著提升了数据拟合与参数估计稳定性,并开源了Python包leaderbot。
2025-05-29 cs.AI cs.LG stat.ML
A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
CSIRO(联邦科学与工业研究组织);Google Research(谷歌研究院);The University of Queensland(昆士兰大学)
提出 Setwise prompting 零样本文档排序方法,通过减少 LLM 推理次数和 token 消耗,在保持高有效性的同时显著提升基于 LLM 的零样本排序效率。
2024-05-30 cs.AI cs.IR
LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking
Oregon State University(俄勒冈州立大学);Pennsylvania State University(宾夕法尼亚州立大学)
针对基于LLM的排序方法存在的顺序不一致和传递不一致问题,提出LLM-RankFusion框架,通过上下文学习校准偏好概率及聚合多排序器结果缓解不一致,提升排序质量。
2024-11-26 cs.AI cs.CL cs.IR
Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems
学习排序自2010年左右引入以来,是一种有效的推荐方式。著名的算法,如贝叶斯个性化排名和协作少即是多过滤,在学术界和工业界都留下了深刻的影响。然而,大多数学习排序方法专注于提高技术准确性指标,如AUC,MRR和NDCG。推荐系统的其他评价指标,如公平性,直到最近几年才在很大程度上被忽视。本文提出了一种新的学习排序算法Pareto Pairwise Ranking。我们的灵感来自贝叶斯个性化排名和幂律分布的想法。我们表明,我们的算法是有竞争力的技术精度指标评估时,与其他算法。更重要的是,在我们的实验部分中,我们证明了Pareto Pairwise Ranking是最公平的算法,与其他9个当代算法相比。
2022-12-06 cs.AI cs.IR cs.LG
From Semantic Retrieval to Pairwise Ranking: Applying Deep Learning in E-commerce Search
我们将深度学习模型引入到全球最大的电子商业平台之一JD.com的产品搜索中最重要的两个阶段。具体来说,我们概述了一个深度学习系统的设计,该系统可以在几毫秒内检索与查询语义相关的项目,以及一个成对的深度重新排名系统,该系统可以学习微妙的用户偏好。与传统的搜索系统相比,本文提出的方法在语义检索和个性化排序方面有了明显的改进。
2021-03-24 cs.AI cs.IR cs.LG
A Neural Pairwise Ranking Model for Readability Assessment
University of Toronto(多伦多大学)
自动可读性评估(ARA),即为文本分配阅读水平的任务,传统上被视为自然语言处理研究中的分类问题。在本文中,我们提出了第一个神经,成对的排名方法ARA和现有的分类,回归和(非神经)排名方法进行比较。我们建立我们的模型的性能进行实验,三个英语,法语和西班牙语数据集。我们证明了我们的方法在单语单/跨语料库测试场景中表现良好,并且在英语数据上训练时,法语和西班牙语的zero-shot跨语言排名准确率超过80%。此外,我们还发布了一个新的英语和法语双语可读性数据集。据我们所知,本文提出了第一个神经成对排序模型的ARA,并显示了跨语言,zero-shot评估ARA与神经模型的第一个结果。
2022-03-14 cs.AI cs.CL cs.LG
Pairwise Fairness for Ranking and Regression
Google Research(谷歌研究院)
我们提出了成对的公平性指标的排名模型和回归模型,形成类似的统计公平的概念,如平等的机会,平等的准确性,统计奇偶性。我们的成对公式支持离散保护组和连续保护属性。我们表明,由此产生的训练问题,可以有效地解决现有的约束优化和强大的优化技术开发的公平分类。实验说明了这些方法的广泛适用性和权衡。
2020-01-07 cs.LG stat.ML
Active Ranking using Pairwise Comparisons
University of Wisconsin(威斯康星大学)
本文探讨了使用成对比较(两个对象的排名)对一组对象进行排名的问题。通常,$n$对象的排序可以通过使用$n log_2 n$成对比较的标准排序方法来识别。我们感兴趣的自然情况下,对象之间的关系可能允许使用少得多的成对比较排名。具体来说,我们假设对象可以嵌入到$d$维欧几里德空间,排名反映了他们的相对距离从一个共同的参考点在$R^d$。我们表明,在这种假设下,可能的排名的数量增长像$n^{2d}$和演示的算法,可以确定一个随机选择的排名使用略多于$d log n$自适应选择的成对比较,平均。如果比较是随机选择的,那么几乎所有的成对比较都必须进行,以确定任何排名。此外,我们提出了一个强大的,容错的算法,只需要成对的比较可能是正确的。实验研究与合成和真实数据集支持我们的理论分析的结论。
2011-12-10 cs.IT cs.LG math.IT
Pairwise Ranking with Gaussian Kernels
Fudan University(复旦大学)
本文为使用高斯核的正则化成对排序算法开发新的预言机不等式,推导出在低本征维数等条件下可克服维度灾难的快速学习率,填补了该算法缺乏严格理论证明的空白。
2023-04-06 cs.LG stat.ML
Correct Looks Better: Pairwise Comparisons Reveal Accuracy Rankings
Max Planck Institute for Intelligent Systems, Tübingen, Germany(马克斯·普朗克智能系统研究所,蒂宾根,德国);Tübingen AI Center(蒂宾根人工智能中心)
本文通过将基准测试转化为生成式评估,发现成对比较结合Elo方法得到的模型排名与基于真实准确率的排名高度一致(Spearman相关系数>0.9),且风格和裁判偏见影响较小,但答案重复(echo)是裁判偏好的因果驱动因素。
2026-06-08 cs.AI cs.CL cs.LG
Approximate Ranking from Pairwise Comparisons
Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校)
机器学习中的一个常见问题是基于成对比较对一组n个项目进行排名。这里的排序是指根据项目的分数将项目划分为预先指定大小的集合,其中包括将前k个项目识别为最突出的特殊情况。给定项目的得分被定义为它击败随机选择的其他项目的概率。找到一个确切的排名通常需要大量的比较,但在实践中,近似的排名往往是足够的。因此,我们研究了从成对比较中找到近似排名的问题。我们分析了一个主动排名算法,该算法计算赢得的比较次数,并根据从先前步骤中收集的数据计算的置信区间来决定是否停止或下一步比较哪对项目。我们表明,该算法成功地恢复近似排名使用的比较,接近最佳的对数因子。我们还提出了数值结果,表明在实践中,近似可以大大减少估计排名所需的比较次数。
2018-01-04 cs.AI cs.IT cs.LG
Minimum Weighted Feedback Arc Sets for Ranking from Pairwise Comparisons
New Jersey Institute of Technology(新泽西理工学院)
本文提出基于组合算法的MWFAS方法,用于改进大规模排名任务,证明其在效率和准确性上的优势。
2025-12-04 cs.AI cs.DS cs.IR
Spectral Ranking using Seriation
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Microsoft Research(微软研究院)
我们描述了一个序列化算法,用于对一组项目进行排序,这些项目之间进行成对比较。直观地说,该算法将类似的排名分配给与所有其他项目进行类似比较的项目。它通过从成对比较中构建相似性矩阵,使用序列化方法对该矩阵进行重新排序并构建排名来实现。我们首先表明,这种光谱序列化算法恢复真实的排名时,所有成对的比较观察和一致的总顺序。然后,我们表明,排名重建仍然是准确的,当一些成对的比较损坏或丢失,序列化的频谱排名是更强大的噪声比经典的评分方法。最后,当只观察到比较的随机子集时,我们限制了排名误差。序列化公式的另一个好处是它允许我们解决半监督排名问题。在合成数据集和真实数据集上的实验表明,与经典的排序方法相比,基于序列化的光谱排序具有竞争力,在某些情况下具有优越的性能。
2016-03-10 cs.AI cs.LG stat.ML
Perturbation Sensitivity of Maximum-Likelihood Pairwise Ranking in Computational Decision Systems
研究基于最大似然估计的成对排名系统对策略性数据扰动的脆弱性,提出自适应子集选择攻击(ASSA)方法,实验表明少量扰动即可显著改变全局排名。
2026-10-08 cs.AI cs.GT cs.LG
Fairness in Recommendation Ranking through Pairwise Comparisons
Google(谷歌)
推荐系统是工业中机器学习最普遍的应用之一,许多服务使用它们来将用户与产品或信息相匹配。因此,重要的是要问:什么是可能的公平风险,我们如何量化它们,以及我们应该如何解决它们?在本文中,我们提供了一套新的度量标准,用于评估算法公平性的关注推荐系统。特别是,我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上,我们提供了一个新的正则化器,以鼓励在模型训练期间改进此指标,从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统,并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
Active Ranking from Pairwise Comparisons and when Parametric Assumptions Don't Help
UC Berkeley(加州大学伯克利分校)
我们认为顺序或主动排名的一组n个项目的基础上嘈杂的成对比较。根据给定项目击败随机选择的项目的概率对项目进行排名,排名是指根据项目的得分将项目划分为预先指定大小的集合。这种排序的概念包括作为特殊情况的前k项的识别和项的总排序。我们首先分析一个顺序排序算法,该算法计算赢得比较的次数,并使用这些计数来决定是否停止,或比较另一对项目,根据收集到的数据指定的置信区间选择。我们证明,该算法使用多次比较成功地恢复了排名,这些比较在对数因子下是最佳的。这种保证不需要潜在的成对概率矩阵的任何结构属性,不像过去基于参数模型(如Thurstone或Bradley-Terry-Luce模型)的成对排序的重要工作。这一直是一个长期的开放问题,是否强加这些参数的假设允许改进的排名算法。对于随机比较模型,其中成对概率有界远离零,我们的第二个贡献是通过证明参数模型的下界来解决这个问题。这表明,也许令人惊讶的是,这些流行的参数建模选择提供了最多的对数增益随机比较。
2016-09-23 cs.AI cs.IT cs.LG
Inductive Pairwise Ranking: Going Beyond the n log(n) Barrier
University of California Irvine(加州大学欧文分校);Xerox Research Centre India(施乐印度研究中心)
我们研究了从非主动选择的成对偏好中对一组项目进行排序的问题,其中每个项目都有特征信息,我们提出并描述了一类非常广泛的偏好矩阵,从而产生了特征低秩(FLR)模型,它包含了从经典的布拉德利-特里-卢斯(BTL)(Bradley和Terry 1952)和Thurstone(Thurstone 1927)模型到最近提出的叶片胸部(Chen和Joachims 2016)和通用低等级偏好(Rajkumar和Agarwal 2016)模型。我们使用的技术矩阵完成边信息的存在下开发的归纳成对排名(IPR)算法,可证明学习一个良好的排名下的FLR模型,在一个样本有效的方式。在实践中,通过系统的合成模拟,我们证实了我们的理论研究结果,由于使用的特征信息的样本复杂性的改善。此外,在流行的现实世界偏好学习数据集上,只需对成对比较进行10%的采样,我们的方法就可以恢复良好的排名。
2017-02-09 cs.IT cs.LG math.IT
Rate-Optimal Rank Aggregation with Private Pairwise Rankings
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Purdue University(普渡大学)
本文解决私有成对排名聚合中的隐私与效用平衡问题,提出自适应去偏方法纠正随机响应机制引入的偏差,实现真实偏好的一致估计,并建立极小化极大速率以确定最优隐私保证。
2025-04-02 cs.CR cs.LG stat.ML
GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks
University of Oxford(牛津大学);Amazon Web Services AI Shanghai Lablet(亚马逊云科技AI上海实验室);The Alan Turing Institute(阿兰·图灵研究所);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
从成对比较中恢复全局排名具有广泛的应用,从时间同步到运动队排名。对应于竞争中的匹配的成对比较可以被解释为有向图(有向图)中的边,其节点表示例如具有未知排名的竞争者。在本文中,我们引入神经网络的排名恢复问题,提出了所谓的GNNRank,一个可训练的GNN为基础的框架与有向图嵌入。此外,设计了新的目标来编码排名颠覆/违规。该框架涉及一个排名得分估计方法,并通过展开从可学习的相似性矩阵构建的图的Fiedler向量计算来增加归纳偏差。在大量数据集上的实验结果表明,我们的方法与基线相比具有竞争力,并且通常具有优异的性能,并且具有很好的传输能力。代码和预处理数据位于:\url{https://github.com/SherylHYX/GNNRank}。
2022-07-19 cs.LG math.OC stat.ML
Evaluating Artificial Systems for Pairwise Ranking Tasks Sensitive to Individual Differences
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究科);RIKEN Center for AIP(理化学研究所人工智能研究中心)
由于深度学习的进步,人工系统现在在几个模式识别任务中与人类竞争,例如对象类别的视觉识别。然而,这只是正确答案独立于人类感知存在的任务的情况。还有另一种类型的任务,预测的是人类的感知本身,其中通常存在个体差异。然后,不再有单一的“正确”答案来预测,这使得评估人工系统变得困难。针对对个体差异敏感的两两排序任务,提出了一种评价方法。给定由人工系统生成的多个项目对的排名结果,我们的方法量化了人类生成相同排名结果的概率,并判断它是否与人类生成的结果区分开来。我们引入了人类排序行为的概率模型,并提出了一种有效的计算方法的判断。为了从小样本中准确地估计模型参数,我们提出了一种方法,该方法使用注释者给出的置信度得分来对每个项目对进行排名。以一个根据物体的材料属性对图像对进行排序的任务为例,我们演示了所提出的方法是如何工作的。
2019-05-30 cs.AI cs.CV cs.LG
Preference Completion: Large-scale Collaborative Ranking from Pairwise Comparisons
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们考虑的协作排名设置:一个池的用户提供了少量的成对偏好之间的$d$可能的项目,从这些我们需要预测的用户的偏好,他们还没有看到的项目。我们通过将秩$r$得分矩阵拟合到成对数据来实现这一点,并提供两个主要贡献:(a)我们表明,一旦每个用户提供少至$O(r\log^2 d)$的成对比较,基于凸优化的算法就提供了良好的泛化保证--基本上匹配相关矩阵完成设置中所需的样本复杂性(它使用实际的数值,而不是成对的信息),(b)我们开发了一个大规模的非凸实现,我们称之为AltSVM,通过交替最小化训练矩阵的因子形式(我们显示减少到交替SVM问题),规模和并行化非常好的大型问题设置。在NDCG和其他排名性能指标中,它在许多中等规模的流行协同过滤数据集上的表现也优于常见基线。
2015-07-16 cs.LG stat.ML
UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale
Pinterest
提出UniPinRec,通过共享Transformer编码用户行为序列,结合掩码动作建模、混合训练样本和跨阶段KV缓存共享,在Pinterest生产系统中首次实现检索与排序的全栈统一,提升在线参与度并降低延迟。
2026-05-29 cs.IR cs.LG
Achievability and Impossibility of Exact Pairwise Ranking
Courant Institute, NYU(纽约大学柯朗数学科学研究所)
我们考虑的问题,恢复的一组$n$项目的基础上嘈杂的成对比较的排名。我们假设SST类是生成模型的家族。我们的分析给出了尖锐的信息理论的上限和下限的确切要求,这完全匹配的参数限制。通过对矩方法引入的算法的深入分析,我们得到了比~ \citet{shah2017simple}更好的Minimax最优率常数,并对它们的公开问题做出了贡献。我们在这项工作中使用的策略,以获得信息理论界是基于组合参数,是独立的利益。
2021-11-19 cs.LG stat.ML
Ranking and synchronization from pairwise measurements via SVD
CNRS & Ecole Normale Supérieure(法国国家科学研究中心与巴黎高等师范学院);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);INRIA Lille-Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
给定一个测量图$G= (V,E)$和一个未知信号$r \in \mathbb{R}^n$,我们研究从形式$r_i - r_j$ ; $\{i,j\} \in E$的成对测量中恢复$r$的算法。这个问题出现在各种应用中,例如在体育数据中对球队进行排名和分布式网络的时间同步。在排名的上下文中,任务是恢复$n$团队的排名(由$r$引起)给出了一个小的子集的噪声成对排名偏移。我们提出了一个简单的基于SVD的算法流水线的时间同步和排名的问题。我们利用矩阵扰动和随机矩阵理论的结果,在针对采样稀疏性和具有离群值的噪声扰动的鲁棒性方面提供了详细的理论分析。我们的理论研究结果得到了一组详细的数值实验的合成和真实数据的补充,展示了我们提出的算法与其他国家的最先进的方法的竞争力。
2020-08-07 cs.LG math.ST stat.ML
Efficient computation of rankings from pairwise comparisons
Center for the Study of Complex Systems(复杂系统研究中心);University of Michigan(密歇根大学)
针对 Bradley-Terry 模型中成对比较排名的计算效率问题,提出一种与 Zermelo 迭代等价但更快的简单迭代算法,并通过数据集验证及收敛性分析证明其优势。
2023-06-07 cs.LG stat.ML
PromptShots at the FinNLP-2022 ERAI Tasks: Pairwise Comparison and Unsupervised Ranking
这份报告描述了我们对评估业余投资者资产(ERAI)的共享任务的提交。我们参与了成对比较和无监督排名任务。为了进行成对比较,我们采用了基于T5-small和OpenAI InstructGPT语言模型的基于简化的模型。令人惊讶的是,我们观察到在中国数据上训练的OpenAI InstructGPT语言模型Few-Shot在我们的提交中表现最好,在最大损失(ML)成对准确性方面排名第三。这个模型比在谷歌翻译的英语数据上训练要好得多,其中英语Few-Shot训练的InstructGPT模型甚至比在英语数据上微调的基于语法的T5-small模型表现得更差。然而,在有更多数据和学习信号的情况下,所有基于预防的提交在最大潜在利润(MPP)成对准确度上表现不佳。中国Few-Shot训练的InstructGPT模型在我们的设置中仍然表现最好。对于无监督排名,我们使用了许多语言模型,包括许多金融特定的,贝叶斯词典无监督学习的中文和英文单词使用矩估计方法。我们提交的所有作品在MPP排名中排名最高,从第1名到第3名。然而,他们都没有表现良好的ML评分。因此,MPP和ML评分需要不同的处理,因为我们使用相同的公式处理MPP和ML。我们唯一的区别是对市场情绪词汇的处理。
2023-01-16 cs.CL cs.CY cs.LG
Model inference for ranking from pairwise comparisons
Department of Engineering, University of Cambridge, CB2 1PZ, United Kingdom(剑桥大学工程系)
本文提出了一种高效算法,用于从噪声的成对比较中推断对象的强度及概率映射函数,通过实验验证了贝叶斯方法的鲁棒性。
2025-12-17 cs.LG cs.SI stat.ML
Learning to Rank For Push Notifications Using Pairwise Expected Regret
Twitter(推特)
列表排序损失在推荐系统中得到了广泛的研究。然而,新的内容消费模式对排名方法提出了新的挑战。在这项工作中,我们有助于分析学习排序个性化的移动推送通知,并讨论了独特的挑战,这提出了传统的排名问题相比。为了解决这些挑战,我们引入了一种新的排名损失的基础上加权候选人之间的成对损失的预期遗憾误排序对。我们证明了所提出的方法可以优于以前的方法,无论是在模拟环境中,并在一个主要的社会网络的生产实验。
2022-01-19 cs.IR cs.LG
Beyond Energy: When Sustainability Dimensions Reshape LLM Serving Decisions
Purdue University(普渡大学)
针对LLM服务多维度环境影响,提出PRISM统一框架,区分配置与部署影响,识别条件并平衡四维度,区域路由实验中中位最坏遗憾降低50.2%。
2026-09-29 cs.CY cs.DC cs.LG
PAC Ranking from Pairwise and Listwise Queries: Lower Bounds and Upper Bounds
Ohio State University(俄亥俄州立大学);Iowa State University(爱荷华州立大学)
本文探讨了自适应(主动)PAC(可能近似正确)顶级$k$排名(即,$k$项目选择)和多项logit(MNL)模型下$l$ -wise($l\geq 2$)比较的总排名问题。通过自适应地选择集合进行查询并观察每个查询的最受欢迎项的噪声输出,我们希望设计使用尽可能少的查询来恢复顶部$k$或总排名的排名算法。对于PAC $k$排名问题,我们推导出样本复杂度(又名查询数)的下限,并提出了一种算法,该算法是样本复杂度最优的$O(\log(k+l)/\log{k})$因素。当$l=2$(即,成对比较)或$l=O(poly(k))$,则该算法匹配下限。对于PAC总排名问题,我们推导出一个严格的下限,并提出了一个算法,匹配的下限。当$l=2$时,MNL模型简化为流行的Plackett-Luce(PL)模型。在这种情况下,我们的结果仍然优于国家的最先进的理论和数值。我们还比较了我们的算法与国家的最先进的使用合成数据以及真实世界的数据,以验证我们的算法的效率。
2018-09-10 cs.LG stat.ML
Aggregation of pairwise comparisons with reduction of biases
Yandex(扬德克斯)
我们研究了众包成对比较的排名问题。已知成对任务的答案会受到屏幕上项目位置的影响,然而,以前的成对比较聚合模型并没有专注于对这种偏差进行建模。我们引入了一个新的聚合模型factorBT成对比较,它占某些因素的成对任务,已知是无关的比较结果,但可能会影响工人的答案,由于知觉的原因。通过对影响工人的偏见进行建模,factorBT能够减少有偏见的成对比较对结果排名的影响。我们对真实世界数据集的实证研究表明,factorBT从众包的成对比较中产生的排名比以前建立的模型更准确。
2019-06-09 cs.LG stat.ML
Simple, Robust and Optimal Ranking from Pairwise Comparisons
University of California, Berkeley(加州大学伯克利分校)
我们以n个项目的成对比较的形式来考虑数据,目标是精确地识别k < n的某个值的前k个项目,或者恢复所有项目的排名。我们分析了Copeland计数算法,该算法按成对比较的次数对项目进行排序,并表明它有三个吸引人的特点:(a)与以前的工作相比,它的计算效率导致计算时间的几个数量级的加速;(b)它是稳健的,因为理论保证不对成对比较概率的基础矩阵施加任何条件,与仅适用于BTL参数模型的一些先前工作相反;以及(c)它是常数因子的最优方法,这意味着它实现了用于恢复顶部k子集的信息理论限制。我们扩展我们的结果,以获得清晰的保证近似恢复下的汉明失真度量,更一般地说,任何任意的误差要求,满足一个简单而自然的单调性条件。
2016-04-27 cs.AI cs.IT cs.LG
Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification
IIE, Chinese Academy of Sciences(中国科学院自动化研究所);SCS, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);IIP, ICT, Chinese Academy of Sciences(中国科学院计算技术研究所);SCST, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);SCST, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区计算机科学与技术学院);BDKM, University of Chinese Academy of Sciences(中国科学院大学大数据与知识管理实验室)
针对多标签排序任务中不同评估指标下模型表现不一致的问题,提出兼容现有排序指标的TKPR指标,构建具备理论支撑的代理风险最小化框架,并通过实验验证其有效性。
2024-07-09 cs.CV cs.LG
Debiased Explainable Pairwise Ranking from Implicit Feedback
University of Louisville(路易斯维尔大学)
最近的工作在推荐系统中强调了公平的重要性,特别是在偏见和透明度,除了预测准确性。在本文中,我们专注于最先进的成对排名模型,贝叶斯个性化排名(BPR),它以前被发现在预测准确性方面优于逐点模型,同时也能够处理隐式反馈。具体来说,我们解决了BPR的两个局限性:(1)BPR是一个黑箱模型,不解释其输出,从而限制了用户对建议的信任,以及分析师审查模型输出的能力;(2)由于数据是非随机缺失(MNAR),BPR容易受到暴露偏差的影响。这种曝光偏差通常会转化为对最不受欢迎的项目的不公平,因为它们有被推荐系统曝光不足的风险。在这项工作中,我们首先提出了一种新的可解释的损失函数和相应的矩阵分解为基础的模型,称为可解释的贝叶斯个性化排名(EBPR),生成建议以及基于项目的解释。然后,我们从理论上量化额外的曝光偏差所造成的可解释性,并使用它作为基础,提出一个无偏估计的理想EBPR损失。其结果是一个排名模型,恰当地捕捉了去偏见和可解释的用户偏好。最后,我们对三个真实世界的数据集进行了实证研究,证明了我们提出的模型的优点。
2021-07-30 cs.AI cs.IR cs.LG
Ranking with multiple types of pairwise comparisons
Center for the Study of Complex Systems, University of Michigan(密歇根大学复杂系统研究中心)
根据配对之间的一系列比较对个人或团队进行排名的任务出现在各种情况下,包括体育比赛和对动物和人类之间的统治等级的分析。鉴于哪些竞争对手击败了其他竞争对手的数据,挑战在于将竞争对手从最好到最差进行排名。在这里,我们研究的问题,计算排名时,有多个,潜在的冲突模式的比较,如多种类型的动物之间的优势行为。我们假设我们不知道每个行为传递的关于排名的先验信息,甚至不知道它们是否传递任何信息。尽管如此,我们表明,它是可能的,在这种情况下计算排名,并提出了一种快速的方法,这样做的基础上,结合一个期望最大化算法和修改后的布拉德利-特里模型。我们选择的例子应用到动物和人类的竞争。
2022-10-19 cs.LG stat.ML
Decreasing Annotation Burden of Pairwise Comparisons with Human-in-the-Loop Sorting: Application in Medical Image Artifact Rating
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院)
通过成对比较进行的排名显示出比有序分类更高的可靠性。然而,由于成对比较的注释是二次缩放的,当数据集很大时,这变得不太实用。我们提出了一种方法,用于减少通过定量度量进行排名所需的成对比较的数量,证明了该方法在此概念研究证明中通过图像质量对医学图像进行排名的有效性。使用我们开发的医学图像注释软件,我们积极使用排序算法进行子样本成对比较,并在循环中加入人类评分员。我们发现,这种方法大大减少了一个完整的顺序排名所需的比较的数量,而不影响评分员之间的可靠性相比,成对比较,没有排序。
2022-02-10 cs.CV cs.LG eess.IV
How Many Repeated Pairwise Comparisons Are Needed for Ranking under Heterogeneity?
University of Maryland(马里兰大学)
本文针对偏好异质性场景,探究成对比较排序所需的重复次数,提出三种算法将所需次数从Ω(1/Δ²)降至最优的O(log(1/Δ)),其中俄罗斯轮盘算法期望仅需O(1)次,实验验证了算法性能。
2026-10-09 cs.IT cs.LG math.IT
Cross Pairwise Ranking for Unbiased Item Recommendation
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
大多数推荐系统在观察到的交互数据上优化模型,这受到先前曝光机制的影响,并表现出许多偏差,如流行度偏差。损失函数,如最常用的逐点二进制交叉熵和成对贝叶斯个性化排名,是不是设计来考虑观察数据中的偏差。因此,在损失上优化的模型将继承数据偏差,甚至更糟,放大偏差。例如,一些受欢迎的项目占用了越来越多的曝光机会,严重损害了利基项目的推荐质量-被称为臭名昭著的马修效应。在这项工作中,我们开发了一种新的学习范式,称为交叉配对排名(CPR),实现无偏见的建议,而不知道曝光机制。与反向倾向评分(IPS)不同,我们改变了样本的损失项-我们创新地对多个观察到的相互作用进行一次采样,并将损失作为其预测的组合。我们从理论上证明了这种方法抵消了用户/项目倾向对学习的影响,消除了由暴露机制引起的数据偏差的影响。与IPS相似,我们提出的CPR确保了每个训练实例的无偏学习,而无需设置倾向分数。实验结果表明,CPR优于国家的最先进的去偏的解决方案,在模型的泛化和训练效率。这些代码可在www.example.com上获得。
2022-04-26 cs.IR cs.LG
Noisy Nonreciprocal Pairwise Comparisons: Scale Variation, Noise Calibration, and Admissible Ranking Regions
本文研究非互易成对比较中的尺度变化与噪声影响,提出加法模型以估计噪声水平并评估可接受排名区域,与传统投影方法对比。
2026-04-06 cs.IT cs.LG math.IT
Scientific Discovery under Validation Congestion via Multi-Fidelity Pairwise Rankings
University of Bonn(波恩大学);Fraunhofer SCAI(弗劳恩霍夫算法与科学计算研究所);Massachusetts Institute of Technology(麻省理工学院)
针对候选物多而实验验证能力有限的验证拥堵问题,提出PRISMS框架,利用多保真度专家成对排序进行科学设计筛选,无需大量实验数据,显著提升筛选效率和优化性能。
2026-10-02 cs.LG
Do Not Wait: Learning Re-Ranking Model Without User Feedback At Serving Time in E-Commerce
Alibaba Group(阿里巴巴集团);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院)
针对电商重排序在线学习依赖延迟用户反馈的问题,提出服务时学习方法LAST,用替代模型提供指导信号、按请求临时修改模型,可无缝集成现有系统,性能优于SOTA重排序模型。
2024-06-20 cs.IR cs.LG
Surrogate Regret Bounds for Bipartite Ranking via Strongly Proper Losses
Indian Institute of Science(印度科学学院)
二分排名问题,其中实例被标记为正面或负面,目标是学习一个评分函数,该函数最大限度地减少对一对正面和负面实例的错误排名概率(或等效地,最大化ROC曲线下的面积),近年来已被广泛研究。一个占主导地位的理论和算法框架的问题已经减少二分排名成对分类,特别是,它是众所周知的,二分排名遗憾可以制定成对分类遗憾,这反过来又可以使用通常的遗憾界分类问题的上限。最近,Kotlowski et al.(2011)根据与标准(非成对)逻辑和指数损失的平衡版本相关的遗憾,显示了二分排序的遗憾界限。在本文中,我们表明,这种(非成对)代理遗憾界的二分排名可以得到一个广泛的类适当的(复合)损失,我们的术语作为强适当的。我们的证明技术比Kotlowski等人(2011)简单得多,并且依赖于Reid和Williamson(2010,2011)和其他人最近阐明的适当(复合)损失的性质。我们的结果产生明确的代理边界(没有隐藏的平衡条款)在各种强适当的损失,包括例如逻辑,指数,平方和平方铰链损失的特殊情况。我们还通过Clemencon和Robbiano(2011)的最新结果在某些低噪声条件下获得了更紧密的代理边界。
2012-07-02 cs.LG stat.ML
Poisoning Attack against Estimating from Pairwise Comparisons
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Jiangxi Normal University(江西师范大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
随着成对排名被广泛用于选举、体育比赛、推荐等,攻击者有很强的动机和动机来操纵排名列表。他们可以在训练数据中注入恶意的比较来欺骗受害者。这种技术在回归和分类任务中被称为中毒攻击。在本文中,据我们所知,我们发起了第一个系统的调查数据投毒攻击对成对排名算法,它可以被形式化为动态和静态之间的游戏排名和攻击者,可以建模为某些类型的整数规划问题。为了克服整数规划问题的计算障碍,我们将其转化为分布式鲁棒优化(DRO)问题。基于这样的DRO公式,我们提出了两个有效的中毒攻击算法,并建立相关的理论保证。一系列的玩具模拟和几个真实的数据实验证明了建议的中毒攻击策略的有效性。这些实验结果表明,所提出的方法可以显着降低排名的性能,在这个意义上,真实的排名列表和聚合结果之间的相关性可以显着降低。
2021-07-05 cs.AI cs.CR cs.GT
Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model
University of Glasgow(格拉斯哥大学);IIT Kharagpur(印度理工学院卡拉格普尔分校)
本研究针对零样本排序模型性能弱于有监督模型的问题,提出成对少样本排序方法,通过补充相似查询偏好示例提升效果,在多基准上优于零样本基线,性能接近有监督模型且无需复杂训练流程。
2024-10-04 cs.CL cs.IR cs.LG
Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
Google Research(谷歌研究院)
本文提出成对排序提示(PRP)技术,通过让LLM比较文档对来降低排序难度,首次用中等规模开源LLM在多个基准上超越GPT-4等更大模型,并给出线性复杂度的高效变体。
2024-03-28 cs.CL cs.IR cs.LG
Ranking from Pairwise Comparisons in General Graphs and Graphs with Locality
Princeton University(普林斯顿大学)
本文研究BTL模型中基于成对比较的分数估计问题,证明MLE在一般图上达到Cramér-Rao下界,并刻画了局部性不损害估计难度的条件,提出具有计算优势的分治算法。
2023-04-13 cs.LG math.ST stat.ML
Top-$K$ Ranking from Pairwise Comparisons: When Spectral Ranking is Optimal
KAIST(韩国科学技术院);Electronics and Telecommunications Research Institute(电子与电信研究所);UIUC(伊利诺伊大学厄巴纳-香槟分校)
我们探讨了顶- $K$秩聚合问题。假设一个项目的集合被重复地成对比较,我们的目标是恢复一个一致的排序,集中在顶部的$K$排名的项目的基础上部分显示的偏好信息。我们调查布拉德利-特里-卢斯模型,其中一个排名项目,根据他们的感知效用建模为嘈杂的意见,他们的潜在的真实效用。我们的主要贡献有两方面。首先,在一个一般的比较模型中,项目对进行比较的先验,我们获得了可靠的恢复的顶部$K$排名项目的样本量的上限和下限。其次,更重要的是,扩展的结果,以一个随机比较模型,项目对比较独立地选择与一定的概率,我们表明,在略有限制的制度,推导出的界限之间的差距减少到一个常数的因素,因此揭示了谱方法可以实现最小最大最优的(顺序明智的)样本大小所需的顶部- $K$排名。也就是说,我们证明了一个谱方法单独足以实现最优性和有利的计算复杂性方面,因为它不需要一个额外的阶段的最大似然估计,一个国家的最先进的计划采用实现最优性。我们证实了我们的主要结果的数值实验。
2016-03-14 cs.IT cs.LG cs.SI
Multiple graph regularized protein domain ranking
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Qatar Computing Research Institute(卡塔尔计算研究所)
背景蛋白质结构域排序是结构生物学中的一项基本任务。大多数蛋白质结构域排序方法依赖于蛋白质结构域的成对比较,而忽略了蛋白质结构域数据库的全局流形结构。最近,已经提出了利用由成对相似性定义的图的全局结构的图正则化排名。然而,现有的图正则化排序方法对图模型和参数的选择非常敏感,这对于大多数蛋白质结构域排序方法来说仍然是一个难题。结果针对这一问题,提出了多图正则化排序算法MultiG- Rank. MultiG-Rank不是使用单个图来正则化排名分数,而是通过组合多个初始图进行正则化来近似蛋白质结构域分布的内在流形。图的权重学习与排名分数联合和自动,交替最小化的目标函数的迭代算法。在ASTRAL SCOP蛋白质结构域数据库的一个子集上的实验结果表明,MultiG-Rank比单图正则化排序方法和基于成对相似性的排序方法具有更好的排序性能。结论将多个图结合起来可以有效解决图正则化蛋白质结构域排序中的图模型和参数选择问题。这方面的推广引入了一个新的前沿应用多个图形解决蛋白质结构域排名的应用。
2013-04-21 cs.CE cs.IR cs.LG
Preference rules for label ranking: Mining patterns in multi-target relations
INESCTEC;LIACS;HasLab, INESC TEC, Departamento de Informática, Universidade do Minho(Minho大学信息学院HasLab, INESC TEC);DCC - Faculdade de Ciencias, Universidade do Porto(波尔图大学科学学院DCC);LIACS, Leiden, Netherlands(莱顿大学LIACS)
在本文中,我们研究了两种变体的关联规则的偏好数据,标签排名关联规则和成对关联规则。标签排序关联规则(LRAR)相当于标签排序任务的类关联规则(CAR)。在CAR中,后件是一个类,例子应该属于这个类。在LRAR中,结果是标签的排名。LRAR的生成需要特殊的支持和信心措施,以评估排名的相似性。在这项工作中,我们进行了敏感性分析,这些相似性为基础的措施。我们希望了解哪些数据集从这些措施中受益更多,哪些参数对模型的准确性有更大的影响。此外,我们提出了一种替代类型的规则,成对关联规则(PAR),这是定义为关联规则与一组成对的偏好在随之而来的。虽然PAR可以用作描述性和预测性模型,但它们本质上是描述性模型。实验结果表明,这两种方法的潜力。
2019-03-20 cs.LG stat.ML
Scalable Personalised Item Ranking through Parametric Density Estimation
CyberAgent, Inc.(赛博特工公司);Waseda University(早稻田大学)
从内隐反馈中学习是具有挑战性的,因为一类问题的困难性质:我们只能观察到积极的例子。大多数传统的方法使用成对排序方法和负采样器来处理一类问题。然而,这种方法有两个主要缺点,特别是在大规模应用中;(1)由于二次计算成本,成对方法效率非常低;(2)由于训练额外的模型,即使是最近的基于模型的采样器(例如IRGAN)也无法实现实际效率。在本文中,我们提出了一种学习排名的方法,它实现了收敛速度相媲美的逐点对应,同时执行类似的成对对应的排名有效性。我们的方法估计的概率密度的积极项目为每个用户在一个丰富的类的分布,即。\emph{exponential family}。在我们的公式中,我们推导出一个损失函数和适当的负抽样分布的基础上最大似然估计。我们还开发了一个实用的技术风险近似和正规化计划。然后,我们讨论了我们的单模型方法是等价的一个IRGAN变种在一定的条件下。通过在真实数据集上的实验,我们的方法在有效性和效率方面优于逐点和逐对的方法。
2021-05-11 cs.IR cs.LG
Fair Active Ranking from Pairwise Preferences
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院)
本文提出一种公平主动排序方法,通过成对比较和公平目标函数(最小化组误差的范数)实现PACF排序,并分析样本复杂度与下界,实验验证有效性。
2024-02-05 cs.CY cs.LG
A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems
Meta
针对工业广告排序系统依赖带标签数据导致的过拟合、模型扩展收益慢等问题,提出知识蒸馏与半监督学习统一框架UKDSL,通过利用更大规模多样数据提升性能并缓解偏差,已在工业场景成功部署且效果显著。
2025-02-05 cs.AI cs.LG
Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning
本研究提出首个结合视觉-语言模型生成偏好与普拉科特-卢斯模型的列表式奖励学习框架,在Meta-World操纵任务中,其表现与基线相当且更灵活,最佳配置达86%平均成功率。
2026-08-27 cs.LG cs.RO