Scientific Discovery under Validation Congestion via Multi-Fidelity Pairwise Rankings
University of Bonn（波恩大学）；Fraunhofer SCAI（弗劳恩霍夫算法与科学计算研究所）；Massachusetts Institute of Technology（麻省理工学院）
针对候选物多而实验验证能力有限的验证拥堵问题，提出PRISMS框架，利用多保真度专家成对排序进行科学设计筛选，无需大量实验数据，显著提升筛选效率和优化性能。
2026-10-02 cs.LG
Surrogate Regret Bounds for Bipartite Ranking via Strongly Proper Losses
Indian Institute of Science（印度科学学院）
二分排名问题，其中实例被标记为正面或负面，目标是学习一个评分函数，该函数最大限度地减少对一对正面和负面实例的错误排名概率（或等效地，最大化ROC曲线下的面积），近年来已被广泛研究。一个占主导地位的理论和算法框架的问题已经减少二分排名成对分类，特别是，它是众所周知的，二分排名遗憾可以制定成对分类遗憾，这反过来又可以使用通常的遗憾界分类问题的上限。最近，Kotlowski et al.（2011）根据与标准（非成对）逻辑和指数损失的平衡版本相关的遗憾，显示了二分排序的遗憾界限。在本文中，我们表明，这种（非成对）代理遗憾界的二分排名可以得到一个广泛的类适当的（复合）损失，我们的术语作为强适当的。我们的证明技术比Kotlowski等人（2011）简单得多，并且依赖于Reid和Williamson（2010，2011）和其他人最近阐明的适当（复合）损失的性质。我们的结果产生明确的代理边界（没有隐藏的平衡条款）在各种强适当的损失，包括例如逻辑，指数，平方和平方铰链损失的特殊情况。我们还通过Clemencon和Robbiano（2011）的最新结果在某些低噪声条件下获得了更紧密的代理边界。
2012-07-02 cs.LG stat.ML
Fair Active Ranking from Pairwise Preferences
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
本文提出一种公平主动排序方法，通过成对比较和公平目标函数（最小化组误差的范数）实现PACF排序，并分析样本复杂度与下界，实验验证有效性。
2024-02-05 cs.CY cs.LG
Ranking from Pairwise Comparisons in General Graphs and Graphs with Locality
Princeton University（普林斯顿大学）
本文研究BTL模型中基于成对比较的分数估计问题，证明MLE在一般图上达到Cramér-Rao下界，并刻画了局部性不损害估计难度的条件，提出具有计算优势的分治算法。
2023-04-13 cs.LG math.ST stat.ML
SCARLET-NAS: Bridging the Gap between Stability and Scalability in Weight-sharing Neural Architecture Search
Xiaomi AI Lab（小米AI实验室）
发现强大而紧凑的模型是神经结构搜索的一个重要目标。以前的两阶段单次方法受到具有固定深度的搜索空间的限制。在搜索空间中包含一个额外的跳过连接以使深度可变似乎很方便。然而，它在超网训练过程中产生了大范围的扰动，并且很难为子网络提供可靠的排名。在本文中，我们发现跳过连接带来了显着的功能不一致性相比，其他操作，这可能会降低超网的性能。基于这一观察，我们通过施加一个等变的可学习稳定器来均匀化这种差异来解决这个问题。实验表明，我们提出的稳定器有助于提高超网的收敛性以及排名性能。通过将稳定的超网作为评估器的进化搜索后端，我们得到了一系列最先进的架构，几个深度的SCARLET系列，特别是SCARLET-A在ImageNet上获得了76.9%的top-1准确率。代码可在https://github.com/xiaomi-automl/ScarletNAS上获得。
2021-08-14 cs.CV cs.LG stat.ML
Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）；California Institute of Technology（加州理工学院）
在异质等级聚合问题中，用户在比较项目对时往往表现出不同的准确度水平。因此，对用户的统一查询策略可能不是最佳的。为了解决这个问题，我们提出了一个基于淘汰的主动抽样策略，估计排名的项目，通过嘈杂的成对比较，从用户和提高用户的平均精度，通过保持一个活跃的用户集。我们证明了我们的算法可以返回的真实排名的项目以高概率。我们还提供了一个样本的复杂性界所提出的算法，这是优于文献中的非主动策略。实验表明，所提出的方法的经验优势，在国家的最先进的基线。
2021-10-08 cs.LG
Multivariate feature ranking of gene expression data
University of Murcia（穆尔西亚大学）
基因表达数据集通常是高维的，因此需要高效和有效的方法来识别其属性的相对重要性。由于可能解的搜索空间巨大，属性子集评价特征选择方法往往不适用，因此在这些场景中使用特征排序方法。文献中描述的大多数特征排序方法都是单变量方法，因此它们不能检测因素之间的相互作用。在本文中，我们提出了两个新的多变量特征排序方法的基础上成对相关性和成对一致性，我们已经应用在三个基因表达分类问题。我们统计证明，所提出的方法优于最先进的特征排序方法聚类变异，卡方，相关性，信息增益，ReliefF和重要性，以及特征选择方法的属性子集评价的基础上的相关性和一致性与多目标进化搜索策略。
2022-06-09 cs.AI cs.LG
On Sample Complexity Upper and Lower Bounds for Exact Ranking from Noisy Comparisons
The Ohio State University（俄亥俄州立大学）
本文研究了从噪声比较中寻找精确排序的问题。对一组$m$项目的比较产生关于最优选项目的噪声结果，并揭示关于排名的一些信息。通过重复和自适应地选择要比较的项目，我们希望以一定的置信度对项目进行完全排名，并尽可能少地使用比较。与以往的大多数工作不同，本文有三个主要的创新点：（i）与以往的工作相比，我们的上界，（算法）和样本复杂度的下限（又名比较次数）需要对实例的最小假设，并且不限于特定的模型;（ii）我们给出了具有不等噪声水平的实例的下界和上界;（3）本文研究的是不需要实例知识的精确排序问题，而以往的研究大多集中于近似排序或需要先验知识的精确排序问题。我们首先推导出成对排序的下界（即，每次比较两个项目），然后提出（接近）最优的成对排序算法。我们进一步扩展了列表排序（即，每次比较多个项目）。数值结果也显示了我们对现有技术的改进。
2021-07-29 cs.LG stat.ML
How Many Pairwise Preferences Do We Need to Rank A Graph Consistently?
Indian Institute of Science, Bangalore（印度科学学院，班加罗尔）；Google Inc., Mountain View（谷歌公司，山景城）
我们考虑的问题，从随机选择的子集，他们的成对偏好的$n$项目的真实排名的最佳恢复。众所周知，在没有任何进一步假设的情况下，需要$Ω(n^2)$的样本量。我们分析的问题与一个额外的结构的关系图$G([n],E)$的$n$项目添加了一个假设的\emph{locality}：相邻的项目是相似的，在他们的排名。注意到数据的优先性质，我们选择不嵌入图，而是嵌入其\emph{strong product}来捕获成对节点关系。此外，与现有的文献中使用拉普拉斯嵌入基于图的学习问题，我们使用更丰富的一类图嵌入- \emph{orthonormal representations} -其中包括（规范化）拉普拉斯作为其特殊情况。我们提出的算法，{ \it Pref-Rank}，预测潜在的排名使用基于SVM的方法在选择的嵌入的产品图，是第一个提供\emph{statistical consistency}上的两个排名损失：\emph{Kendall's tau}和\emph{Spearman's footrule}，所需的样本复杂度的$O(n^2 χ(\bar{G}))^{\frac{2}{3}}$对，$χ(\bar{G})$是\emph{chromatic number}的补充图$\bar{G}$。显然，对于密集图，我们的样本复杂度较小，$χ(\bar G)$表征节点连通性的程度，由于局部性假设，这也是…
2019-02-11 cs.LG stat.ML
Active Ranking with Subset-wise Preferences
Indian Institute of Science, Bangalore, India（印度科学学院，班加罗尔，印度）
我们考虑的问题可能近似正确（PAC）排名$n$项目自适应引发子集明智的偏好反馈。在每一轮中，学习者选择$k$项目的子集，并观察随机反馈，该随机反馈指示根据先验未知的Plackett-Luce（PL）子集选择模型绘制的所选子集的获胜者（最优选）项目的偏好信息。目标是识别概率至少为$1 - δ$的$n$项的$ε$最优排序。当在每个子集轮的反馈是一个单一的Plackett-Luce抽样项目，我们显示$(ε, δ)$ -PAC算法的样本复杂度为$O\left(\frac{n}{ε^2} \ln \frac{n}δ \right)$轮，我们建立作为顺序最优的表现出匹配的样本复杂度下限$Ω\left(\frac{n}{ε^2} \ln \frac{n}δ \right)$ --这表明，基本上没有改进可能从成对比较设置（$k = 2$）。然而，当它是可能的，以引起顶级$m$（$\leq k$）排名反馈根据PL模型从每个自适应选择的子集的大小$k$，我们表明，一个$(ε, δ)$ -PAC排名样本的复杂性$O\left(\frac{n}{m ε^2} \ln \frac{n}δ \right)$是可以实现的显式算法，这代表了$m$明智的减少样本的复杂性相比，成对的情况。这又一次证明了在对称排序算法的类中顺序方面是不可改进的。我们的算法依赖于一种新颖的{pivot技巧}来仅维护$n$逐项得分估计，这…
2019-03-01 cs.LG stat.ML
Spectral Methods for Ranking with Scarce Data
Google（谷歌）；University of Michigan（密歇根大学）；University of Washington（华盛顿大学）；Yale University（耶鲁大学）
给定一些成对的项目偏好，一个常见的任务是对所有项目进行排名。例子包括成对电影评级，纽约客卡通字幕比赛，以及许多其他消费者偏好任务。这些设置的共同点是两方面的：数据的稀缺性（对所有成对的项目进行比较可能是昂贵的）和关于项目的附加特征信息（例如，电影类型、导演和演员）。在本文中，我们修改了一个流行的和良好的研究方法，排名聚合的RankCentrality占比较少，并结合了额外的功能信息。此方法返回有意义的排名，即使在稀缺的比较。使用基于扩散的方法，我们将特征信息，在实践中优于国家的最先进的方法。我们还提供了改进的样本复杂性的RankCentrality在各种采样方案。
2020-07-02 cs.LG stat.ML
Pairwise Ranking Losses of Click-Through Rates Prediction for Welfare Maximization in Ad Auctions
The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
本文面向广告拍卖社会福利优化，提出无需eCPM分布假设的加权成对排序损失及教师标签校准方法，并在合成与真实数据上验证其优势。
2023-06-01 cs.GT cs.IR cs.LG
Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions
Carnegie Mellon University（卡内基梅隆大学）
许多应用程序需要对排名偏好数据进行双样本测试。例如，在众包中，人们提供的成对比较数据是否与评级转换为比较的数据类似，这是一个长期存在的问题。其他例子包括体育数据分析和同行评分。本文针对两两比较数据和排序数据设计了两样本检验。对于成对比较数据的双样本检验，我们建立了正确区分两组样本分布所需的样本复杂度的上限。我们的测试基本上不需要对分布做任何假设。然后，我们证明互补的下界表明，我们的结果是紧（在极大极小意义上）的常数因子。我们通过证明一系列成对比较模型（WST，MST，SST，基于参数的BTL和Thurstone）的下限来研究建模假设的作用。我们还提供了测试算法和相关的样本复杂性界限的问题，两个样本测试的部分（或全部）rankingdata.Therefore，我们经验性地评估我们的结果，通过广泛的模拟，以及两个现实世界的数据集组成的成对比较。通过将我们的双样本测试应用于现实世界的成对比较数据，我们得出结论，人们提供的评级和排名确实分布不同。另一方面，我们的测试承认欧洲足球队在两个赛季的相对表现没有显着差异。最后，我们将我们的双样本测试应用于真实世界的部分和总排名数据集，并发现基于性别，年龄和居住地区的人口统计学划分中的寿司偏好存在统计学显著差异。
2020-11-19 cs.IT cs.LG math.IT
Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization
Tsinghua University（清华大学）
（部分）排名损失是多标签分类的常用评估指标，通常使用凸代理进行优化以提高计算效率。以前的理论工作多标签排名主要集中在（Fisher）的一致性分析。然而，现有的理论和实践之间存在差距-一些成对损失可以导致有希望的性能，但缺乏一致性，而一些单变量损失是一致的，但通常在实践中没有明显的优势。本文试图从学习算法的一致性和泛化误差界两个互补的角度对这一问题进行系统的研究。我们的研究结果表明，一致的单变量损失的学习算法有一个错误界$O(c)$（$c$是标签的数量），而不一致的成对损失的算法依赖于$O(\sqrt{c})$在以前的工作。这说明后者在实际应用中可以取得比前者更好的性能。此外，我们提出了一个不一致的重加权单变量损失为基础的学习算法，享有$O(\sqrt{c})$的错误界有前途的性能，以及单变量损失的计算效率。最后，实验结果验证了我们的理论分析。
2021-05-10 cs.LG stat.ML
Pairwise Ranking with Gaussian Kernels
Fudan University（复旦大学）
本文为使用高斯核的正则化成对排序算法开发新的预言机不等式，推导出在低本征维数等条件下可克服维度灾难的快速学习率，填补了该算法缺乏严格理论证明的空白。
2023-04-06 cs.LG stat.ML
Active Ranking using Pairwise Comparisons
University of Wisconsin（威斯康星大学）
本文探讨了使用成对比较（两个对象的排名）对一组对象进行排名的问题。通常，$n$对象的排序可以通过使用$n log_2 n$成对比较的标准排序方法来识别。我们感兴趣的自然情况下，对象之间的关系可能允许使用少得多的成对比较排名。具体来说，我们假设对象可以嵌入到$d$维欧几里德空间，排名反映了他们的相对距离从一个共同的参考点在$R^d$。我们表明，在这种假设下，可能的排名的数量增长像$n^{2d}$和演示的算法，可以确定一个随机选择的排名使用略多于$d log n$自适应选择的成对比较，平均。如果比较是随机选择的，那么几乎所有的成对比较都必须进行，以确定任何排名。此外，我们提出了一个强大的，容错的算法，只需要成对的比较可能是正确的。实验研究与合成和真实数据集支持我们的理论分析的结论。
2011-12-10 cs.IT cs.LG math.IT
Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems
学习排序自2010年左右引入以来，是一种有效的推荐方式。著名的算法，如贝叶斯个性化排名和协作少即是多过滤，在学术界和工业界都留下了深刻的影响。然而，大多数学习排序方法专注于提高技术准确性指标，如AUC，MRR和NDCG。推荐系统的其他评价指标，如公平性，直到最近几年才在很大程度上被忽视。本文提出了一种新的学习排序算法Pareto Pairwise Ranking。我们的灵感来自贝叶斯个性化排名和幂律分布的想法。我们表明，我们的算法是有竞争力的技术精度指标评估时，与其他算法。更重要的是，在我们的实验部分中，我们证明了Pareto Pairwise Ranking是最公平的算法，与其他9个当代算法相比。
2022-12-06 cs.AI cs.IR cs.LG
From Semantic Retrieval to Pairwise Ranking: Applying Deep Learning in E-commerce Search
我们将深度学习模型引入到全球最大的电子商业平台之一JD.com的产品搜索中最重要的两个阶段。具体来说，我们概述了一个深度学习系统的设计，该系统可以在几毫秒内检索与查询语义相关的项目，以及一个成对的深度重新排名系统，该系统可以学习微妙的用户偏好。与传统的搜索系统相比，本文提出的方法在语义检索和个性化排序方面有了明显的改进。
2021-03-24 cs.AI cs.IR cs.LG
Evaluating Artificial Systems for Pairwise Ranking Tasks Sensitive to Individual Differences
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究科）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
由于深度学习的进步，人工系统现在在几个模式识别任务中与人类竞争，例如对象类别的视觉识别。然而，这只是正确答案独立于人类感知存在的任务的情况。还有另一种类型的任务，预测的是人类的感知本身，其中通常存在个体差异。然后，不再有单一的“正确”答案来预测，这使得评估人工系统变得困难。针对对个体差异敏感的两两排序任务，提出了一种评价方法。给定由人工系统生成的多个项目对的排名结果，我们的方法量化了人类生成相同排名结果的概率，并判断它是否与人类生成的结果区分开来。我们引入了人类排序行为的概率模型，并提出了一种有效的计算方法的判断。为了从小样本中准确地估计模型参数，我们提出了一种方法，该方法使用注释者给出的置信度得分来对每个项目对进行排名。以一个根据物体的材料属性对图像对进行排序的任务为例，我们演示了所提出的方法是如何工作的。
2019-05-30 cs.AI cs.CV cs.LG
Dodgersort: Uncertainty-Aware VLM-Guided Human-in-the-Loop Pairwise Ranking
Hanyang University（翰阳大学）；Hankuk University of Foreign Studies（韩国民法大学）
Dodgersort通过CLIP基于的分层预排序、神经排名头和概率集成方法，减少人工比较并提升排序可靠性，在医学影像、历史 dating 和美学任务中实现11-16%的标注减少。
2026-03-21 cs.AI cs.CV cs.HC
A Neural Pairwise Ranking Model for Readability Assessment
University of Toronto（多伦多大学）
自动可读性评估（ARA），即为文本分配阅读水平的任务，传统上被视为自然语言处理研究中的分类问题。在本文中，我们提出了第一个神经，成对的排名方法ARA和现有的分类，回归和（非神经）排名方法进行比较。我们建立我们的模型的性能进行实验，三个英语，法语和西班牙语数据集。我们证明了我们的方法在单语单/跨语料库测试场景中表现良好，并且在英语数据上训练时，法语和西班牙语的zero-shot跨语言排名准确率超过80%。此外，我们还发布了一个新的英语和法语双语可读性数据集。据我们所知，本文提出了第一个神经成对排序模型的ARA，并显示了跨语言，zero-shot评估ARA与神经模型的第一个结果。
2022-03-14 cs.AI cs.CL cs.LG
Achievability and Impossibility of Exact Pairwise Ranking
Courant Institute, NYU（纽约大学柯朗数学科学研究所）
我们考虑的问题，恢复的一组$n$项目的基础上嘈杂的成对比较的排名。我们假设SST类是生成模型的家族。我们的分析给出了尖锐的信息理论的上限和下限的确切要求，这完全匹配的参数限制。通过对矩方法引入的算法的深入分析，我们得到了比~ \citet{shah2017simple}更好的Minimax最优率常数，并对它们的公开问题做出了贡献。我们在这项工作中使用的策略，以获得信息理论界是基于组合参数，是独立的利益。
2021-11-19 cs.LG stat.ML
GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks
University of Oxford（牛津大学）；Amazon Web Services AI Shanghai Lablet（亚马逊云科技AI上海实验室）；The Alan Turing Institute（阿兰·图灵研究所）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
从成对比较中恢复全局排名具有广泛的应用，从时间同步到运动队排名。对应于竞争中的匹配的成对比较可以被解释为有向图（有向图）中的边，其节点表示例如具有未知排名的竞争者。在本文中，我们引入神经网络的排名恢复问题，提出了所谓的GNNRank，一个可训练的GNN为基础的框架与有向图嵌入。此外，设计了新的目标来编码排名颠覆/违规。该框架涉及一个排名得分估计方法，并通过展开从可学习的相似性矩阵构建的图的Fiedler向量计算来增加归纳偏差。在大量数据集上的实验结果表明，我们的方法与基线相比具有竞争力，并且通常具有优异的性能，并且具有很好的传输能力。代码和预处理数据位于：\url{https://github.com/SherylHYX/GNNRank}。
2022-07-19 cs.LG math.OC stat.ML
A Unified Pairwise Framework for RLHF: Bridging Generative Reward Modeling and Policy Optimization
ByteDance Seed（字节跳动 Seed）
本文提出Pairwise-RL框架，通过生成式奖励建模与成对PPO算法统一奖励训练和策略优化，解决传统RLHF中奖励校准困难和生成-判别任务不匹配问题，并在多个基准上取得更优对齐效果。
2025-04-07 cs.LG
Approximate Ranking from Pairwise Comparisons
Rice University（莱斯大学）；University of California, Berkeley（加州大学伯克利分校）
机器学习中的一个常见问题是基于成对比较对一组n个项目进行排名。这里的排序是指根据项目的分数将项目划分为预先指定大小的集合，其中包括将前k个项目识别为最突出的特殊情况。给定项目的得分被定义为它击败随机选择的其他项目的概率。找到一个确切的排名通常需要大量的比较，但在实践中，近似的排名往往是足够的。因此，我们研究了从成对比较中找到近似排名的问题。我们分析了一个主动排名算法，该算法计算赢得的比较次数，并根据从先前步骤中收集的数据计算的置信区间来决定是否停止或下一步比较哪对项目。我们表明，该算法成功地恢复近似排名使用的比较，接近最佳的对数因子。我们还提出了数值结果，表明在实践中，近似可以大大减少估计排名所需的比较次数。
2018-01-04 cs.AI cs.IT cs.LG
Correct Looks Better: Pairwise Comparisons Reveal Accuracy Rankings
Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所，蒂宾根，德国）；Tübingen AI Center（蒂宾根人工智能中心）
本文通过将基准测试转化为生成式评估，发现成对比较结合Elo方法得到的模型排名与基于真实准确率的排名高度一致（Spearman相关系数>0.9），且风格和裁判偏见影响较小，但答案重复（echo）是裁判偏好的因果驱动因素。
2026-06-08 cs.AI cs.CL cs.LG
Efficient computation of rankings from pairwise comparisons
Center for the Study of Complex Systems（复杂系统研究中心）；University of Michigan（密歇根大学）
针对 Bradley-Terry 模型中成对比较排名的计算效率问题，提出一种与 Zermelo 迭代等价但更快的简单迭代算法，并通过数据集验证及收敛性分析证明其优势。
2023-06-07 cs.LG stat.ML
Minimum Weighted Feedback Arc Sets for Ranking from Pairwise Comparisons
New Jersey Institute of Technology（新泽西理工学院）
本文提出基于组合算法的MWFAS方法，用于改进大规模排名任务，证明其在效率和准确性上的优势。
2025-12-04 cs.AI cs.DS cs.IR
Decreasing Annotation Burden of Pairwise Comparisons with Human-in-the-Loop Sorting: Application in Medical Image Artifact Rating
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
通过成对比较进行的排名显示出比有序分类更高的可靠性。然而，由于成对比较的注释是二次缩放的，当数据集很大时，这变得不太实用。我们提出了一种方法，用于减少通过定量度量进行排名所需的成对比较的数量，证明了该方法在此概念研究证明中通过图像质量对医学图像进行排名的有效性。使用我们开发的医学图像注释软件，我们积极使用排序算法进行子样本成对比较，并在循环中加入人类评分员。我们发现，这种方法大大减少了一个完整的顺序排名所需的比较的数量，而不影响评分员之间的可靠性相比，成对比较，没有排序。
2022-02-10 cs.CV cs.LG eess.IV
Spectral Ranking using Seriation
École Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Microsoft Research（微软研究院）
我们描述了一个序列化算法，用于对一组项目进行排序，这些项目之间进行成对比较。直观地说，该算法将类似的排名分配给与所有其他项目进行类似比较的项目。它通过从成对比较中构建相似性矩阵，使用序列化方法对该矩阵进行重新排序并构建排名来实现。我们首先表明，这种光谱序列化算法恢复真实的排名时，所有成对的比较观察和一致的总顺序。然后，我们表明，排名重建仍然是准确的，当一些成对的比较损坏或丢失，序列化的频谱排名是更强大的噪声比经典的评分方法。最后，当只观察到比较的随机子集时，我们限制了排名误差。序列化公式的另一个好处是它允许我们解决半监督排名问题。在合成数据集和真实数据集上的实验表明，与经典的排序方法相比，基于序列化的光谱排序具有竞争力，在某些情况下具有优越的性能。
2016-03-10 cs.AI cs.LG stat.ML
Learning to Rank For Push Notifications Using Pairwise Expected Regret
Twitter（推特）
列表排序损失在推荐系统中得到了广泛的研究。然而，新的内容消费模式对排名方法提出了新的挑战。在这项工作中，我们有助于分析学习排序个性化的移动推送通知，并讨论了独特的挑战，这提出了传统的排名问题相比。为了解决这些挑战，我们引入了一种新的排名损失的基础上加权候选人之间的成对损失的预期遗憾误排序对。我们证明了所提出的方法可以优于以前的方法，无论是在模拟环境中，并在一个主要的社会网络的生产实验。
2022-01-19 cs.IR cs.LG
Post Hoc Regression Refinement via Pairwise Rankings
MPI-INF（马克斯·普朗克研究所信息部门）；MIT（麻省理工学院）
针对数据稀缺场景下深度学习回归器精度下降的问题，提出即插即用的事后精修方法RankRefine，结合基础回归输出与成对排序估计，无需重训练即可在分子属性预测等任务中有效降低误差，适用性广泛。
2025-10-01 cs.AI cs.LG
Ranking and synchronization from pairwise measurements via SVD
CNRS & Ecole Normale Supérieure（法国国家科学研究中心与巴黎高等师范学院）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
给定一个测量图$G= (V,E)$和一个未知信号$r \in \mathbb{R}^n$，我们研究从形式$r_i - r_j$ ; $\{i,j\} \in E$的成对测量中恢复$r$的算法。这个问题出现在各种应用中，例如在体育数据中对球队进行排名和分布式网络的时间同步。在排名的上下文中，任务是恢复$n$团队的排名（由$r$引起）给出了一个小的子集的噪声成对排名偏移。我们提出了一个简单的基于SVD的算法流水线的时间同步和排名的问题。我们利用矩阵扰动和随机矩阵理论的结果，在针对采样稀疏性和具有离群值的噪声扰动的鲁棒性方面提供了详细的理论分析。我们的理论研究结果得到了一组详细的数值实验的合成和真实数据的补充，展示了我们提出的算法与其他国家的最先进的方法的竞争力。
2020-08-07 cs.LG math.ST stat.ML
Fairness in Recommendation Ranking through Pairwise Comparisons
Google（谷歌）
推荐系统是工业中机器学习最普遍的应用之一，许多服务使用它们来将用户与产品或信息相匹配。因此，重要的是要问：什么是可能的公平风险，我们如何量化它们，以及我们应该如何解决它们？在本文中，我们提供了一套新的度量标准，用于评估算法公平性的关注推荐系统。特别是，我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上，我们提供了一个新的正则化器，以鼓励在模型训练期间改进此指标，从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统，并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
Perturbation Sensitivity of Maximum-Likelihood Pairwise Ranking in Computational Decision Systems
研究基于最大似然估计的成对排名系统对策略性数据扰动的脆弱性，提出自适应子集选择攻击（ASSA）方法，实验表明少量扰动即可显著改变全局排名。
2026-10-08 cs.AI cs.GT cs.LG
Active Ranking from Pairwise Comparisons and when Parametric Assumptions Don't Help
UC Berkeley（加州大学伯克利分校）
我们认为顺序或主动排名的一组n个项目的基础上嘈杂的成对比较。根据给定项目击败随机选择的项目的概率对项目进行排名，排名是指根据项目的得分将项目划分为预先指定大小的集合。这种排序的概念包括作为特殊情况的前k项的识别和项的总排序。我们首先分析一个顺序排序算法，该算法计算赢得比较的次数，并使用这些计数来决定是否停止，或比较另一对项目，根据收集到的数据指定的置信区间选择。我们证明，该算法使用多次比较成功地恢复了排名，这些比较在对数因子下是最佳的。这种保证不需要潜在的成对概率矩阵的任何结构属性，不像过去基于参数模型（如Thurstone或Bradley-Terry-Luce模型）的成对排序的重要工作。这一直是一个长期的开放问题，是否强加这些参数的假设允许改进的排名算法。对于随机比较模型，其中成对概率有界远离零，我们的第二个贡献是通过证明参数模型的下界来解决这个问题。这表明，也许令人惊讶的是，这些流行的参数建模选择提供了最多的对数增益随机比较。
2016-09-23 cs.AI cs.IT cs.LG
Aggregation of pairwise comparisons with reduction of biases
Yandex（扬德克斯）
我们研究了众包成对比较的排名问题。已知成对任务的答案会受到屏幕上项目位置的影响，然而，以前的成对比较聚合模型并没有专注于对这种偏差进行建模。我们引入了一个新的聚合模型factorBT成对比较，它占某些因素的成对任务，已知是无关的比较结果，但可能会影响工人的答案，由于知觉的原因。通过对影响工人的偏见进行建模，factorBT能够减少有偏见的成对比较对结果排名的影响。我们对真实世界数据集的实证研究表明，factorBT从众包的成对比较中产生的排名比以前建立的模型更准确。
2019-06-09 cs.LG stat.ML
Model inference for ranking from pairwise comparisons
Department of Engineering, University of Cambridge, CB2 1PZ, United Kingdom（剑桥大学工程系）
本文提出了一种高效算法，用于从噪声的成对比较中推断对象的强度及概率映射函数，通过实验验证了贝叶斯方法的鲁棒性。
2025-12-17 cs.LG cs.SI stat.ML
PromptShots at the FinNLP-2022 ERAI Tasks: Pairwise Comparison and Unsupervised Ranking
这份报告描述了我们对评估业余投资者资产（ERAI）的共享任务的提交。我们参与了成对比较和无监督排名任务。为了进行成对比较，我们采用了基于T5-small和OpenAI InstructGPT语言模型的基于简化的模型。令人惊讶的是，我们观察到在中国数据上训练的OpenAI InstructGPT语言模型Few-Shot在我们的提交中表现最好，在最大损失（ML）成对准确性方面排名第三。这个模型比在谷歌翻译的英语数据上训练要好得多，其中英语Few-Shot训练的InstructGPT模型甚至比在英语数据上微调的基于语法的T5-small模型表现得更差。然而，在有更多数据和学习信号的情况下，所有基于预防的提交在最大潜在利润（MPP）成对准确度上表现不佳。中国Few-Shot训练的InstructGPT模型在我们的设置中仍然表现最好。对于无监督排名，我们使用了许多语言模型，包括许多金融特定的，贝叶斯词典无监督学习的中文和英文单词使用矩估计方法。我们提交的所有作品在MPP排名中排名最高，从第1名到第3名。然而，他们都没有表现良好的ML评分。因此，MPP和ML评分需要不同的处理，因为我们使用相同的公式处理MPP和ML。我们唯一的区别是对市场情绪词汇的处理。
2023-01-16 cs.CL cs.CY cs.LG
Ranking with multiple types of pairwise comparisons
Center for the Study of Complex Systems, University of Michigan（密歇根大学复杂系统研究中心）
根据配对之间的一系列比较对个人或团队进行排名的任务出现在各种情况下，包括体育比赛和对动物和人类之间的统治等级的分析。鉴于哪些竞争对手击败了其他竞争对手的数据，挑战在于将竞争对手从最好到最差进行排名。在这里，我们研究的问题，计算排名时，有多个，潜在的冲突模式的比较，如多种类型的动物之间的优势行为。我们假设我们不知道每个行为传递的关于排名的先验信息，甚至不知道它们是否传递任何信息。尽管如此，我们表明，它是可能的，在这种情况下计算排名，并提出了一种快速的方法，这样做的基础上，结合一个期望最大化算法和修改后的布拉德利-特里模型。我们选择的例子应用到动物和人类的竞争。
2022-10-19 cs.LG stat.ML
Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SToICaL损失，通过项级再加权和前缀树边际化，提升LLM在排序任务中的表现，证明ARR在表达能力上优于双编码器。
2026-02-11 cs.AI cs.IR cs.LG
Prediction-Powered Ranking of Large Language Models
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对人类与模型偏好不匹配给大语言模型排序带来的不确定性问题，本研究提出统计框架，结合少量人类与大量模型两两比较数据生成排序位置集合并保证覆盖真实排序的概率，实证验证了框架有效性且发现仅用模型比较构建的集合常与人类偏好分布不一致。
2024-12-04 cs.AI cs.CL cs.CY
How Many Repeated Pairwise Comparisons Are Needed for Ranking under Heterogeneity?
University of Maryland（马里兰大学）
本文针对偏好异质性场景，探究成对比较排序所需的重复次数，提出三种算法将所需次数从Ω(1/Δ²)降至最优的O(log(1/Δ))，其中俄罗斯轮盘算法期望仅需O(1)次，实验验证了算法性能。
2026-10-09 cs.IT cs.LG math.IT
Cross Pairwise Ranking for Unbiased Item Recommendation
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
大多数推荐系统在观察到的交互数据上优化模型，这受到先前曝光机制的影响，并表现出许多偏差，如流行度偏差。损失函数，如最常用的逐点二进制交叉熵和成对贝叶斯个性化排名，是不是设计来考虑观察数据中的偏差。因此，在损失上优化的模型将继承数据偏差，甚至更糟，放大偏差。例如，一些受欢迎的项目占用了越来越多的曝光机会，严重损害了利基项目的推荐质量-被称为臭名昭著的马修效应。在这项工作中，我们开发了一种新的学习范式，称为交叉配对排名（CPR），实现无偏见的建议，而不知道曝光机制。与反向倾向评分（IPS）不同，我们改变了样本的损失项-我们创新地对多个观察到的相互作用进行一次采样，并将损失作为其预测的组合。我们从理论上证明了这种方法抵消了用户/项目倾向对学习的影响，消除了由暴露机制引起的数据偏差的影响。与IPS相似，我们提出的CPR确保了每个训练实例的无偏学习，而无需设置倾向分数。实验结果表明，CPR优于国家的最先进的去偏的解决方案，在模型的泛化和训练效率。这些代码可在www.example.com上获得。
2022-04-26 cs.IR cs.LG
Simple, Robust and Optimal Ranking from Pairwise Comparisons
University of California, Berkeley（加州大学伯克利分校）
我们以n个项目的成对比较的形式来考虑数据，目标是精确地识别k < n的某个值的前k个项目，或者恢复所有项目的排名。我们分析了Copeland计数算法，该算法按成对比较的次数对项目进行排序，并表明它有三个吸引人的特点：（a）与以前的工作相比，它的计算效率导致计算时间的几个数量级的加速;（b）它是稳健的，因为理论保证不对成对比较概率的基础矩阵施加任何条件，与仅适用于BTL参数模型的一些先前工作相反;以及（c）它是常数因子的最优方法，这意味着它实现了用于恢复顶部k子集的信息理论限制。我们扩展我们的结果，以获得清晰的保证近似恢复下的汉明失真度量，更一般地说，任何任意的误差要求，满足一个简单而自然的单调性条件。
2016-04-27 cs.AI cs.IT cs.LG
PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan（美团）；University of Chinese Academy of Sciences（中国科学院大学）
PaTaRM通过偏好感知奖励机制实现成对和点状信号的弥合，无需显式评分标签，提升奖励模型的鲁棒性和任务适应性，实验显示在多个基准测试中表现优异。
2026-04-20 cs.AI cs.LG
Debiased Explainable Pairwise Ranking from Implicit Feedback
University of Louisville（路易斯维尔大学）
最近的工作在推荐系统中强调了公平的重要性，特别是在偏见和透明度，除了预测准确性。在本文中，我们专注于最先进的成对排名模型，贝叶斯个性化排名（BPR），它以前被发现在预测准确性方面优于逐点模型，同时也能够处理隐式反馈。具体来说，我们解决了BPR的两个局限性：（1）BPR是一个黑箱模型，不解释其输出，从而限制了用户对建议的信任，以及分析师审查模型输出的能力;（2）由于数据是非随机缺失（MNAR），BPR容易受到暴露偏差的影响。这种曝光偏差通常会转化为对最不受欢迎的项目的不公平，因为它们有被推荐系统曝光不足的风险。在这项工作中，我们首先提出了一种新的可解释的损失函数和相应的矩阵分解为基础的模型，称为可解释的贝叶斯个性化排名（EBPR），生成建议以及基于项目的解释。然后，我们从理论上量化额外的曝光偏差所造成的可解释性，并使用它作为基础，提出一个无偏估计的理想EBPR损失。其结果是一个排名模型，恰当地捕捉了去偏见和可解释的用户偏好。最后，我们对三个真实世界的数据集进行了实证研究，证明了我们提出的模型的优点。
2021-07-30 cs.AI cs.IR cs.LG
Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems
Google LLC（谷歌有限责任公司）；Google DeepMind（谷歌DeepMind）；University of California, Davis（加州大学戴维斯分校）
本文针对推荐系统中知识蒸馏被忽视的数据分布偏移、教师配置寻优及标签共享等挑战，提出并在Google多个大规模视频推荐系统上评估了稳健的KD系统，在线实验证明其显著提升了学生模型性能并保障了高质量教师标签的持续生成。
2024-08-26 cs.AI cs.IR cs.LG
Noisy Nonreciprocal Pairwise Comparisons: Scale Variation, Noise Calibration, and Admissible Ranking Regions
本文研究非互易成对比较中的尺度变化与噪声影响，提出加法模型以估计噪声水平并评估可接受排名区域，与传统投影方法对比。
2026-04-06 cs.IT cs.LG math.IT
Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model
University of Glasgow（格拉斯哥大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
本研究针对零样本排序模型性能弱于有监督模型的问题，提出成对少样本排序方法，通过补充相似查询偏好示例提升效果，在多基准上优于零样本基线，性能接近有监督模型且无需复杂训练流程。
2024-10-04 cs.CL cs.IR cs.LG
Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
Google Research（谷歌研究院）
本文提出成对排序提示（PRP）技术，通过让LLM比较文档对来降低排序难度，首次用中等规模开源LLM在多个基准上超越GPT-4等更大模型，并给出线性复杂度的高效变体。
2024-03-28 cs.CL cs.IR cs.LG
Preference rules for label ranking: Mining patterns in multi-target relations
INESCTEC；LIACS；HasLab, INESC TEC, Departamento de Informática, Universidade do Minho（Minho大学信息学院HasLab, INESC TEC）；DCC - Faculdade de Ciencias, Universidade do Porto（波尔图大学科学学院DCC）；LIACS, Leiden, Netherlands（莱顿大学LIACS）
在本文中，我们研究了两种变体的关联规则的偏好数据，标签排名关联规则和成对关联规则。标签排序关联规则（LRAR）相当于标签排序任务的类关联规则（CAR）。在CAR中，后件是一个类，例子应该属于这个类。在LRAR中，结果是标签的排名。LRAR的生成需要特殊的支持和信心措施，以评估排名的相似性。在这项工作中，我们进行了敏感性分析，这些相似性为基础的措施。我们希望了解哪些数据集从这些措施中受益更多，哪些参数对模型的准确性有更大的影响。此外，我们提出了一种替代类型的规则，成对关联规则（PAR），这是定义为关联规则与一组成对的偏好在随之而来的。虽然PAR可以用作描述性和预测性模型，但它们本质上是描述性模型。实验结果表明，这两种方法的潜力。
2019-03-20 cs.LG stat.ML
Scalable Personalised Item Ranking through Parametric Density Estimation
CyberAgent, Inc.（赛博特工公司）；Waseda University（早稻田大学）
从内隐反馈中学习是具有挑战性的，因为一类问题的困难性质：我们只能观察到积极的例子。大多数传统的方法使用成对排序方法和负采样器来处理一类问题。然而，这种方法有两个主要缺点，特别是在大规模应用中;（1）由于二次计算成本，成对方法效率非常低;（2）由于训练额外的模型，即使是最近的基于模型的采样器（例如IRGAN）也无法实现实际效率。在本文中，我们提出了一种学习排名的方法，它实现了收敛速度相媲美的逐点对应，同时执行类似的成对对应的排名有效性。我们的方法估计的概率密度的积极项目为每个用户在一个丰富的类的分布，即。\emph{exponential family}。在我们的公式中，我们推导出一个损失函数和适当的负抽样分布的基础上最大似然估计。我们还开发了一个实用的技术风险近似和正规化计划。然后，我们讨论了我们的单模型方法是等价的一个IRGAN变种在一定的条件下。通过在真实数据集上的实验，我们的方法在有效性和效率方面优于逐点和逐对的方法。
2021-05-11 cs.IR cs.LG
Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning
本研究提出首个结合视觉-语言模型生成偏好与普拉科特-卢斯模型的列表式奖励学习框架，在Meta-World操纵任务中，其表现与基线相当且更灵活，最佳配置达86%平均成功率。
2026-08-27 cs.LG cs.RO
