Aggregation of pairwise comparisons with reduction of biases
Yandex（扬德克斯）
我们研究了众包成对比较的排名问题。已知成对任务的答案会受到屏幕上项目位置的影响，然而，以前的成对比较聚合模型并没有专注于对这种偏差进行建模。我们引入了一个新的聚合模型factorBT成对比较，它占某些因素的成对任务，已知是无关的比较结果，但可能会影响工人的答案，由于知觉的原因。通过对影响工人的偏见进行建模，factorBT能够减少有偏见的成对比较对结果排名的影响。我们对真实世界数据集的实证研究表明，factorBT从众包的成对比较中产生的排名比以前建立的模型更准确。
2019-06-09 cs.LG stat.ML
Score-Based Density Estimation from Pairwise Comparisons
Department of Computer Science University of Helsinki（计算机科学系赫尔辛基大学）
本文研究通过成对比较进行密度估计，提出利用温度化胜利密度进行学习，通过得分匹配估计目标密度，证明信念与胜利密度的得分向量共线性。
2026-03-25 cs.LG
Efficient PAC Learning from the Crowd with Pairwise Comparisons
Stevens Institute of Technology（史蒂文斯理工学院）
我们研究了众包PAC学习阈值函数，其中标签是从一个注释器池中收集的，其中一些注释器可能会表现得很敌对。这仍然是一个具有挑战性的问题，直到最近，Awasthi等人（2017）才建立了计算和查询高效的PAC学习算法。在本文中，我们表明，通过利用更容易获得的成对比较查询，它是可能的指数级降低标签的复杂性，同时保持整体查询的复杂性和运行时间。我们的主要算法贡献是一个比较装备的标签计划，可以忠实地恢复一个小的实例集的真实标签，和标签有效的过滤过程，结合小标签集可以可靠地推断出一个大的实例集的真实标签。
2022-12-05 cs.LG
Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）；California Institute of Technology（加州理工学院）
在异质等级聚合问题中，用户在比较项目对时往往表现出不同的准确度水平。因此，对用户的统一查询策略可能不是最佳的。为了解决这个问题，我们提出了一个基于淘汰的主动抽样策略，估计排名的项目，通过嘈杂的成对比较，从用户和提高用户的平均精度，通过保持一个活跃的用户集。我们证明了我们的算法可以返回的真实排名的项目以高概率。我们还提供了一个样本的复杂性界所提出的算法，这是优于文献中的非主动策略。实验表明，所提出的方法的经验优势，在国家的最先进的基线。
2021-10-08 cs.LG
Robust Ordinal VAE: Employing Noisy Pairwise Comparisons for Disentanglement
University of Pittsburgh（匹兹堡大学）
Locatello等人（2018）的最新研究表明，需要电感偏置来解开变分自编码器（VAE）中的感兴趣因素。出于现实世界中的问题，我们提出了一个设置，这样的偏见是通过提供成对的顺序实例之间的比较，根据所需的因素被解开。例如，医生根据患者疾病的严重程度对患者进行比较，所需的因素是疾病严重程度的定量水平。在实际应用中，成对比较通常是有噪声的。我们的方法，鲁棒有序VAE（ROVAE），采用了嘈杂的成对顺序比较的解纠缠任务。我们在ROVAE中引入非负随机变量，使得它可以自动确定每个成对顺序比较是否可信，并且忽略噪声比较。实验结果表明，ROVAE优于现有的方法，是更强大的噪声成对比较在基准数据集和现实世界的应用。
2019-10-14 cs.LG stat.ML
RoLNiP: Robust Learning Using Noisy Pairwise Comparisons
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
本文提出了一种鲁棒的方法，从噪声成对比较学习。我们提出了损失函数上的充分条件，在该条件下，风险最小化框架对两两相似的不相似数据中的噪声具有鲁棒性。我们的方法不需要在均匀噪声的情况下的噪声率的知识。在条件噪声的情况下，所提出的方法取决于噪声率。对于这种情况下，我们提供了一个可证明正确的方法来估计噪声率。因此，我们提出了一种端到端的方法来学习鲁棒分类器在这种情况下。我们的实验表明，所提出的方法RoLNiP优于强大的国家的最先进的方法进行学习与嘈杂的成对比较。
2023-03-04 cs.AI cs.LG
Pairwise Adjusted Mutual Information
Technische Universität München（慕尼黑工业大学）；Institut Polytechnique de Paris（巴黎综合理工学院）
用于量化两个聚类之间的相似性的公知度量是经调整的互信息。与互信息相比，引入了基于标签随机排列的校正项，防止了两个聚类偶然相似。不幸的是，这种调整使得度量在计算上昂贵。在本文中，我们提出了一种新的调整的基础上{pairwise}标签排列，而不是完整的标签排列。具体来说，我们考虑排列，其中只有两个样本，随机均匀选择，交换他们的标签。我们表明，相应的调整后的度量，这可以明确表示，行为类似于标准调整后的互信息评估聚类的质量，同时具有低得多的时间复杂度。这两个指标进行比较的质量和性能的实验的基础上合成和真实的数据。
2021-03-23 cs.LG
Parallel Distributed Block Coordinate Descent Methods based on Pairwise Comparison Oracle
Nagoya Institute of Technology（名古屋工业大学）；Kanagawa University（神奈川大学）；Nagoya University（名古屋大学）
提出了一种求解无约束优化问题的块坐标下降算法。在我们的算法中，不需要计算函数值或梯度。相反，使用函数值的成对比较。我们的算法包括两个步骤，一个是方向估计步骤，另一个是搜索步骤。这两个步骤都只需要对函数值进行成对比较，这只告诉我们函数值在两个点上的顺序。在方向估计步骤中，估计牛顿型搜索方向。一种计算方法，如块坐标下降法与成对比较。在搜索步骤中，沿着所估计的方向更新数值解。方向估计步骤的计算可以很容易地并行化，因此，该算法可以有效地找到目标函数的最小值。此外，我们还证明了收敛速度的一个上界。在数值实验中，我们表明，我们的方法有效地找到最优解相比，一些现有的方法的基础上成对比较。
2014-09-13 cs.LG stat.ML
Decreasing Annotation Burden of Pairwise Comparisons with Human-in-the-Loop Sorting: Application in Medical Image Artifact Rating
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
通过成对比较进行的排名显示出比有序分类更高的可靠性。然而，由于成对比较的注释是二次缩放的，当数据集很大时，这变得不太实用。我们提出了一种方法，用于减少通过定量度量进行排名所需的成对比较的数量，证明了该方法在此概念研究证明中通过图像质量对医学图像进行排名的有效性。使用我们开发的医学图像注释软件，我们积极使用排序算法进行子样本成对比较，并在循环中加入人类评分员。我们发现，这种方法大大减少了一个完整的顺序排名所需的比较的数量，而不影响评分员之间的可靠性相比，成对比较，没有排序。
2022-02-10 cs.CV cs.LG eess.IV
On the Sample Complexity of Rank Regression from Pairwise Comparisons
Northeastern University（东北大学）
我们考虑秩回归设置，其中具有$\mathbb{R}^d$中的特征的$N$样本的数据集由Oracle通过$M$成对比较进行排名。具体来说，存在一个潜在的总排序的样本;当一对样本，一个嘈杂的预言机识别排名较高的一个相对于底层的总排序。学习者观察这种比较的数据集，并希望从它们的特征回归样本排名。我们表明，学习模型参数与$ε> 0$的准确性，它足以进行$M \in Ω(dN\log^3 N/ε^2)$比较均匀随机$N$时，$Ω(d/ε^2)$。
2021-05-04 cs.LG stat.ML
Accelerated Experimental Design for Pairwise Comparisons
Northeastern University（东北大学）；Massachusetts General Hospital（麻省总医院）
与类标签相比，成对比较标签的信息量更大，可变性更小，但生成它们带来了挑战：它们的数量在数据集大小中呈二次方增长。我们研究了一个自然的实验设计目标，即D-最优性，可用于确定生成哪些$K$成对比较。已知该目标在实践中表现良好，并且是次模块化的，使得选择可通过贪心算法近似。简单的贪婪实现具有$O(N^2d^2K)$复杂性，其中$N$是数据集大小，$d$是特征空间维度，$K$是生成的比较数。我们表明，通过利用固有的几何数据集-即，它由成对比较-贪婪算法的复杂性可以降低到$O(N^2(K+d)+N(dK+d^2) +d^2K).$我们也适用于相同的加速所谓的懒惰贪心算法。当结合使用时，上述改进导致使用$10^8$比较的数据集的执行时间少于1小时;相同数据集上的幼稚贪心算法将需要10天以上才能终止。
2019-01-18 cs.DS cs.LG
Active Ranking using Pairwise Comparisons
University of Wisconsin（威斯康星大学）
本文探讨了使用成对比较（两个对象的排名）对一组对象进行排名的问题。通常，$n$对象的排序可以通过使用$n log_2 n$成对比较的标准排序方法来识别。我们感兴趣的自然情况下，对象之间的关系可能允许使用少得多的成对比较排名。具体来说，我们假设对象可以嵌入到$d$维欧几里德空间，排名反映了他们的相对距离从一个共同的参考点在$R^d$。我们表明，在这种假设下，可能的排名的数量增长像$n^{2d}$和演示的算法，可以确定一个随机选择的排名使用略多于$d log n$自适应选择的成对比较，平均。如果比较是随机选择的，那么几乎所有的成对比较都必须进行，以确定任何排名。此外，我们提出了一个强大的，容错的算法，只需要成对的比较可能是正确的。实验研究与合成和真实数据集支持我们的理论分析的结论。
2011-12-10 cs.IT cs.LG math.IT
Performance Metric Elicitation from Pairwise Classifier Comparisons
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
给定一个二元预测问题，分类器应该优化哪个性能指标？我们解决这个问题的形式化问题的度量启发。度量导出的目标是发现从业者的性能度量，其反映了她对正确（不正确）分类的固有奖励（成本）。特别是，我们专注于从成对反馈中引出二进制分类性能指标，其中从业者被询问以提供两个分类器之间的相对偏好。通过利用混淆矩阵空间的关键几何性质，我们获得了可证明的查询有效算法，引出线性和线性分数性能指标。我们进一步表明，我们的方法是强大的反馈和有限样本噪声。
2019-01-18 cs.LG stat.ML
Uncoupled Regression from Pairwise Comparison Data
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
非耦合回归是从未标记数据和目标值集合中学习模型的问题，而它们之间的对应关系是未知的。在预测涉及敏感信息的匿名化目标时出现这种情况，一个人的年收入。由于现有的解耦回归方法往往需要对真正的目标函数进行强假设，因此，它们的应用范围是有限的，我们引入了一个新的框架，不需要这样的假设在本文中。我们的关键思想是利用成对比较数据，它由成对的未标记数据组成，我们知道哪一个具有更大的目标值。这样的成对比较数据很容易收集，就像在学习排名场景中通常讨论的那样，并且不会破坏数据的匿名性。我们提出了两个实用的方法，从成对比较数据的非耦合回归，并证明了学习的回归模型收敛到最优模型的最佳参数收敛速度时，目标变量均匀分布。此外，我们的经验表明，对于线性模型，所提出的方法是普通的监督回归与标记数据。
2019-06-03 cs.LG stat.ML
Pairwise Comparisons with Flexible Time-Dynamics
Spotify（声田）；EPFL（洛桑联邦理工学院）
受体育运动中运动员或团队相互竞争的技能随时间变化的应用的启发，我们提出了一种成对比较结果的概率模型，可以捕获广泛的时间动态。我们实现了这一点，通过连续时间高斯过程取代一类流行的成对比较模型的静态参数，这些过程的协方差函数，使表达动态。我们开发了一个有效的推理算法，计算近似贝叶斯后验分布。尽管我们的模型的灵活性，我们的推理算法只需要几个线性时间迭代的数据，可以利用现代多处理器计算机架构。我们将我们的模型应用于几个体育结果的历史数据库，发现我们的方法在预测性能方面优于竞争方法，可扩展到数百万个观察结果，并生成有助于理解和解释数据的引人注目的可视化。
2019-05-17 cs.LG stat.ML
Randomized Kaczmarz for Rank Aggregation from Pairwise Comparisons
IIT Bombay（印度理工学院孟买分校）
我们重新审视的问题，推断的整体排名实体之间的布拉德利-特里-卢斯（BTL）模型的框架内，根据现有的经验数据对成对的偏好。通过一个简单的变换，我们可以将问题转化为求解一个有噪声的线性系统，对于这个系统，一个现成的算法是以随机Kaczmarz方法的形式提供的。该方案是可证明收敛的，具有良好的经验性能，并适合在线，分布式和异步的变种。给出了算法的收敛性、收敛速度和误差分析，并进行了数值实验，实验结果验证了理论分析的正确性。
2016-05-09 cs.LG stat.ML
Preference Completion: Large-scale Collaborative Ranking from Pairwise Comparisons
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们考虑的协作排名设置：一个池的用户提供了少量的成对偏好之间的$d$可能的项目，从这些我们需要预测的用户的偏好，他们还没有看到的项目。我们通过将秩$r$得分矩阵拟合到成对数据来实现这一点，并提供两个主要贡献：（a）我们表明，一旦每个用户提供少至$O(r\log^2 d)$的成对比较，基于凸优化的算法就提供了良好的泛化保证--基本上匹配相关矩阵完成设置中所需的样本复杂性（它使用实际的数值，而不是成对的信息），（b）我们开发了一个大规模的非凸实现，我们称之为AltSVM，通过交替最小化训练矩阵的因子形式（我们显示减少到交替SVM问题），规模和并行化非常好的大型问题设置。在NDCG和其他排名性能指标中，它在许多中等规模的流行协同过滤数据集上的表现也优于常见基线。
2015-07-16 cs.LG stat.ML
Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons
Rutgers University（罗格斯大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Tencent YouTu Lab（腾讯优图实验室）；JD Finance America Corporation（京东金融美国公司）
在过去的几年里，条件生成对抗网络表现出了卓越的生成性能。然而，它们需要大量的注释。为了解决这个问题，我们提出了一种新的生成对抗网络，利用成对比较（PC-GAN）形式的弱监督进行图像属性编辑。通过贝叶斯不确定性估计和抗噪对抗训练，PC-GAN能够有效地估计属性等级，并具有较强的抗噪能力。通过大量的实验，我们定性和定量地证明了PC-GAN在完全监督的方法下表现出色，并且优于无监督的基线。
2020-03-05 cs.CV cs.LG
Pairwise Comparisons without Stochastic Transitivity: Model, Theory and Applications
本文提出无需随机传递性的配对比较模型，扩展了Bradley-Terry和Thurstone模型，通过低维斜对称矩阵确定配对概率，并通过理论分析证明其最优性，适用于稀疏数据和多种场景。
2026-06-29 cs.LG stat.ML
Learning Mixed Membership Mallows Models from Pairwise Comparisons
Boston University（波士顿大学）
我们提出了一种新的参数化家庭的混合成员马洛模型（M4），以考虑到由一个异质人口的嘈杂和不一致的用户产生的成对比较的变化。M4将个人偏好建模为共享潜在Mallow组件的用户特定概率混合物。我们对估计的关键算法见解是通过将成对比较视为单词，将用户视为文档，在M4和主题模型之间建立统计联系。这一关键的见解使我们探索马洛组件与可分离的结构和利用可分离的主题发现的最新进展。虽然可分性似乎是过于限制，但我们表明，这是一个不可避免的结果，在一个世界上的大量项目的一个相对较少的潜在马洛组件。然后，我们开发了一个算法的基础上强大的极值点识别凸多边形学习的参考排名，并证明是一致的多项式样本的复杂性保证。我们证明了我们的新模型在预测现实世界偏好方面与当前最先进的方法具有经验竞争力。
2015-04-03 cs.LG stat.ML
Efficient Bayesian Inference from Noisy Pairwise Comparisons
ETH Zurich, Switzerland（苏黎世联邦理工学院）
本文提出BBQ模型，通过贝叶斯方法处理噪声成对比较数据，改进了传统Bradley-Terry方法，提供更稳健和可解释的排名结果。
2026-05-12 cs.CV cs.LG
Learning Combinatorial Functions from Pairwise Comparisons
机器学习中的大量工作都集中在学习一个基本组合函数的紧密近似的问题上，给定一小组标记的例子。然而，对于实值函数，基数标签可能无法访问，或者专家可能难以在整个示例集上一致地分配实值标签。例如，众所周知，消费者很难可靠地为一捆捆商品赋值。相反，消费者更容易报告她更喜欢两个捆绑包中的哪一个。考虑到这一动机，我们考虑一种替代学习模型，其中算法必须从成对比较中学习到成对比较的底层函数。在这个模型中，我们提出了一系列新的算法，学习各种各样的组合函数类。从图函数到在微观经济学理论、社交网络分析和机器学习中具有根本重要性的各种估值函数，如覆盖函数、次模函数、XOS函数和次加函数，以及具有稀疏傅立叶支持的函数。
2016-05-30 cs.DS cs.LG
Active Sampling for Pairwise Comparisons via Approximate Message Passing and Information Gain Maximization
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
成对比较数据出现在许多领域的主观评估实验中，例如在图像和视频质量评估中。在这些实验中，观察者被要求在两种条件之间表达偏好。然而，许多成对比较协议需要大量的比较来推断准确的分数，当每次比较都是耗时的（例如视频）或昂贵的（例如医学成像）时，这可能是不可行的。这促使使用主动采样算法，该算法仅选择信息量最大的对进行比较。在本文中，我们提出了ASAP，主动采样算法的基础上近似消息传递和期望信息增益最大化。与大多数现有方法不同，这些方法依赖于后验分布的部分更新，我们能够执行完全更新，因此大大提高了推断分数的准确性。该算法依赖于三种技术来降低计算成本：基于近似消息传递的推断，信息增益的选择性评估，以及在一批中选择对，形成信息增益的逆的最小生成树。我们证明，真实的和合成数据，ASAP提供了最高的准确性推断分数相比，现有的方法。我们还提供了一个开源的GPU实现的ASAP的大规模实验。
2020-04-12 cs.LG stat.ML
Improving pairwise comparison models using Empirical Bayes shrinkage
Stanford University（斯坦福大学）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
比较数据出现在许多重要的背景下，例如购物，网络点击或体育比赛。通常，我们会得到一个比较数据集，并希望训练一个模型来预测看不见的比较结果。在许多情况下，可用数据集的比较相对较少（例如，每年只有这么多NFL比赛），或者效率很重要（例如，我们希望快速估计产品的相对吸引力）。在这种情况下，众所周知，收缩估计优于极大似然估计。一个复杂的问题是，标准的比较模型，如条件多项logit模型，只是条件结果（谁赢了）的模型，而不是比较本身（谁竞争了）。因此，比较过程的不同模型导致不同的收缩估计量。在这项工作中，我们推导出一个集合的方法来估计成对的不确定性的成对预测的基础上不同的假设比较过程。这些不确定性估计允许我们检查模型的不确定性以及执行模型参数的经验贝叶斯收缩估计。我们证明了我们的收缩估计优于标准的极大似然方法，从在线比较调查以及从几个体育背景下的真实比较数据。
2018-07-24 cs.LG cs.SI stat.ML
The Sample Complexity of Best-$k$ Items Selection from Pairwise Comparisons
The Ohio State University（俄亥俄州立大学）
本文研究了两两比较中有效最佳$k$项目选择的样本复杂度（即比较次数）界。从一组给定的项目中，学习器可以对每对项目进行成对比较，每次比较都会返回关于首选项目的独立噪声结果。在任何时候，学习器可以根据过去的观察自适应地选择一对项目进行比较（即，主动学习）。学习者的目标是在给定的置信度下找到（近似）最佳的$k$项目，同时尝试使用尽可能少的比较。本文研究了两个问题：（i）在强随机传递性和随机三角不等式下，寻找可能近似正确（PAC）的最佳$k$项和（ii）寻找精确最佳$k$项.对于PAC最佳- $k$项目选择，我们首先给出了一个下界，然后提出了一个算法，其样本复杂度上界匹配下界到一个常数因子。对于确切的最佳$k$项目选择，我们首先证明了最坏的情况下的下限。然后，我们提出了两个算法的基础上，我们的PAC最佳项目选择算法：一个工程$k=1$和样本复杂性最佳的对数因子，和其他工程的所有值的$k$和样本复杂性最佳的对数因子。
2021-07-29 cs.LG stat.ML
Efficient computation of rankings from pairwise comparisons
Center for the Study of Complex Systems（复杂系统研究中心）；University of Michigan（密歇根大学）
针对 Bradley-Terry 模型中成对比较排名的计算效率问题，提出一种与 Zermelo 迭代等价但更快的简单迭代算法，并通过数据集验证及收敛性分析证明其优势。
2023-06-07 cs.LG stat.ML
Perfect Sampling from Pairwise Comparisons
National Technical University of Athens（雅典国家技术大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Athens（雅典大学）
在这项工作中，我们研究了如何有效地获得完美的样本，从离散分布$\mathcal{D}$只访问其支持的元素的成对比较。具体来说，我们假设访问样本$(x, S)$，其中$S$是从集合$\mathcal{Q}$上的分布中提取的（指示被比较的元素），$x$是从条件分布$\mathcal{D}_S$中提取的（指示比较的获胜者），并且旨在输出根据$\mathcal{D}$分布的干净样本$y$。我们主要关注成对比较的情况，其中所有集合$S$的大小都为2。本文设计了一个平稳分布与$\mathcal{D}$相一致的马尔可夫链，并给出了一个利用过去耦合技术获得精确样本的算法。然而，该算法的样本复杂度取决于分布$\mathcal{D}$的结构，并且在许多自然场景中在支持$\mathcal{D}$的情况下甚至可以是指数的。我们的主要贡献是提供一个有效的精确采样算法，其复杂性不依赖于$\mathcal{D}$的结构。为此，我们给出了一个参数马尔可夫链，混合速度显着更快，给出了一个很好的近似平稳分布。我们可以使用有效的成对比较学习算法（Shah等人，JMLR 17，2016）。我们的技术，加快采样的马尔可夫链的平稳分布是近似已知的是简单的，一般的，可能是独立的利益。
2023-02-25 cs.LG stat.CO
Pointwise Binary Classification with Pairwise Confidence Comparisons
College of Computer Science, Chongqing University（重庆大学计算机学院）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）；School of Information Technology and Electrical Engineering, The University of Queensland（昆士兰大学信息技术与电气工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
为了减轻在二进制分类中训练有效的二进制分类器的数据需求，已经提出了许多弱监督学习设置。其中，有些人考虑使用成对的，但不是逐点的标签，当逐点的标签是不可访问的，由于隐私，机密性，或安全原因。然而，由于成对标签表示两个数据点是否共享逐点标签，因此如果任何一个点都有可能是正的或负的，则无法轻松收集。因此，在本文中，我们提出了一种称为成对比较（Pcomp）分类的新设置，其中我们只有成对的未标记数据，我们知道其中一个比另一个更有可能是正的。首先，我们给出了一个Pcomp数据生成过程，推导出一个具有理论保证的无偏风险估计量（URE），并利用修正函数进一步改进了URE。其次，我们将Pcomp分类与噪声标签学习联系起来，以开发一个渐进的URE，并通过实施一致性正则化来改进它。最后，我们通过实验证明了我们的方法的有效性，这表明Pcomp是一个有价值的和实际有用的类型的成对监督除了成对标签。
2022-01-13 cs.LG stat.ML
Graph Resistance and Learning from Pairwise Comparisons
我们考虑的问题，学习的质量的一个集合的项目进行嘈杂的比较。按照标准范例，我们假设有一个固定的“比较图”，并且根据Bradley-Terry-Luce模型（其中项目赢得比较的概率与项目质量成比例），该图中的每个相邻项目对都进行$k$次比较。我们感兴趣的是如何在质量估计的相对误差尺度与比较图的制度，其中$k$是大的。我们证明，经过一个已知的过渡期，相关的图论量是比较图的电阻的平方根。具体来说，我们提供了一个算法，是最小最大优化。该算法具有与图形电阻的平方根成比例的相对误差衰减，并提供匹配的下限（高达对数因子）。我们的算法的性能保证，无论是在图形和偏度的项目质量分布，优于早期的结果。
2019-06-12 cs.LG stat.ML
Model inference for ranking from pairwise comparisons
Department of Engineering, University of Cambridge, CB2 1PZ, United Kingdom（剑桥大学工程系）
本文提出了一种高效算法，用于从噪声的成对比较中推断对象的强度及概率映射函数，通过实验验证了贝叶斯方法的鲁棒性。
2025-12-17 cs.LG cs.SI stat.ML
Correct Looks Better: Pairwise Comparisons Reveal Accuracy Rankings
Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所，蒂宾根，德国）；Tübingen AI Center（蒂宾根人工智能中心）
本文通过将基准测试转化为生成式评估，发现成对比较结合Elo方法得到的模型排名与基于真实准确率的排名高度一致（Spearman相关系数>0.9），且风格和裁判偏见影响较小，但答案重复（echo）是裁判偏好的因果驱动因素。
2026-06-08 cs.AI cs.CL cs.LG
A General Pairwise Comparison Model for Extremely Sparse Networks
The Chinese University of Hong Kong（香港中文大学）；University of Utah（犹他大学）；Hong Kong University of Science and Technology（香港科技大学）
利用两两比较数据进行统计推断是分析大规模稀疏网络的一种有效方法。在本文中，我们提出了一个通用的框架来模拟网络中的相互作用，它在模型参数化方面具有足够的灵活性。在这种设置下，我们证明了潜在的得分向量的受试者的极大似然估计是一致的，在网络稀疏性的近极小条件下。这个条件在描述稀疏性的首阶渐近性方面是尖锐的。我们的分析利用了一种新的链接技术，并说明了一个重要的连接图拓扑结构和模型的一致性。我们的结果保证了极大似然估计是合理的估计在大规模的两两比较网络中的数据是渐近不足。模拟研究提供支持我们的理论研究结果。
2022-03-10 cs.LG math.ST stat.ML
Approximate Ranking from Pairwise Comparisons
Rice University（莱斯大学）；University of California, Berkeley（加州大学伯克利分校）
机器学习中的一个常见问题是基于成对比较对一组n个项目进行排名。这里的排序是指根据项目的分数将项目划分为预先指定大小的集合，其中包括将前k个项目识别为最突出的特殊情况。给定项目的得分被定义为它击败随机选择的其他项目的概率。找到一个确切的排名通常需要大量的比较，但在实践中，近似的排名往往是足够的。因此，我们研究了从成对比较中找到近似排名的问题。我们分析了一个主动排名算法，该算法计算赢得的比较次数，并根据从先前步骤中收集的数据计算的置信区间来决定是否停止或下一步比较哪对项目。我们表明，该算法成功地恢复近似排名使用的比较，接近最佳的对数因子。我们还提出了数值结果，表明在实践中，近似可以大大减少估计排名所需的比较次数。
2018-01-04 cs.AI cs.IT cs.LG
Direct-Scoring NLG Evaluators Can Use Pairwise Comparisons Too
本研究提出一种直接评分方法，利用合成摘要模拟成对比较，在多个基准上达到与最先进成对评估器相当的样本级相关性，并发布数据以促进未来工作。
2025-09-05 cs.AI cs.CL cs.LG
Social Choice Random Utility Models of Intransitive Pairwise Comparisons
人们越来越需要离散选择模型来解释人类选择的复杂性，从而摆脱传统的行为假设，如成对偏好的传递性。最近，已经提出了几个参数模型的不传递比较，但在所有情况下的最大似然问题是非凹的，使推理困难。在这项工作中，我们概括了这一趋势，表明不存在任何参数模型的凹对数似然函数，可以表现出不传递的偏好。鉴于这一结果，我们激发了一个新的模型来分析成对比较中的不传递性，从社会选择理论中的孔多塞方法（多数票）中获得灵感。我们分析的多数投票模型被定义为独立随机效用模型（RUM）上的投票过程。我们推断出每个对象或玩家的多维嵌入，与Thurstone或Bradley-Terry-Luce（BTL）模型等模型使用的传统一维嵌入相反。我们表明，一个三维的多数投票模型是能够建模任意强和长的不传递循环，也可以表示任意的成对比较概率的任何三重态。我们提供了实验结果，证实了我们的主张，我们的模型在捕捉不及物性的各种成对选择任务，如预测选择推荐系统中，在网络视频游戏中的赢家，和选举的有效性。
2018-10-11 cs.IR cs.LG stat.AP
GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks
University of Oxford（牛津大学）；Amazon Web Services AI Shanghai Lablet（亚马逊云科技AI上海实验室）；The Alan Turing Institute（阿兰·图灵研究所）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
从成对比较中恢复全局排名具有广泛的应用，从时间同步到运动队排名。对应于竞争中的匹配的成对比较可以被解释为有向图（有向图）中的边，其节点表示例如具有未知排名的竞争者。在本文中，我们引入神经网络的排名恢复问题，提出了所谓的GNNRank，一个可训练的GNN为基础的框架与有向图嵌入。此外，设计了新的目标来编码排名颠覆/违规。该框架涉及一个排名得分估计方法，并通过展开从可学习的相似性矩阵构建的图的Fiedler向量计算来增加归纳偏差。在大量数据集上的实验结果表明，我们的方法与基线相比具有竞争力，并且通常具有优异的性能，并且具有很好的传输能力。代码和预处理数据位于：\url{https://github.com/SherylHYX/GNNRank}。
2022-07-19 cs.LG math.OC stat.ML
Learning Linear Utility Functions From Pairwise Comparison Queries
Washington University in St Louis（圣路易斯华盛顿大学）
该研究探讨从成对比较查询学习线性效用函数的问题，发现被动学习下仅预测样本外响应可高效实现、参数恢复难，主动学习下两类目标均能高效学习，明确了两类学习范式的可学习性差距与主动选择查询的价值。
2024-06-19 cs.AI cs.CY cs.LG
Fairness in Recommendation Ranking through Pairwise Comparisons
Google（谷歌）
推荐系统是工业中机器学习最普遍的应用之一，许多服务使用它们来将用户与产品或信息相匹配。因此，重要的是要问：什么是可能的公平风险，我们如何量化它们，以及我们应该如何解决它们？在本文中，我们提供了一套新的度量标准，用于评估算法公平性的关注推荐系统。特别是，我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上，我们提供了一个新的正则化器，以鼓励在模型训练期间改进此指标，从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统，并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
Prediction-Powered Ranking of Large Language Models
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对人类与模型偏好不匹配给大语言模型排序带来的不确定性问题，本研究提出统计框架，结合少量人类与大量模型两两比较数据生成排序位置集合并保证覆盖真实排序的概率，实证验证了框架有效性且发现仅用模型比较构建的集合常与人类偏好分布不一致。
2024-12-04 cs.AI cs.CL cs.CY
Finding the Signal in the Spam: Jointly Learning Rewards and Worker Reliability from Pairwise Comparisons
IIT Bombay（印度理工学院孟买分校）
本研究提出一种基于EM算法的方法，联合学习成对比较场景下的物品奖励与工作者可靠性，通过Polya-Gamma潜变量优化模型，在真实与合成数据集上验证了其对垃圾工作者的强鲁棒性。
2026-08-12 cs.AI cs.LG
Simple, Robust and Optimal Ranking from Pairwise Comparisons
University of California, Berkeley（加州大学伯克利分校）
我们以n个项目的成对比较的形式来考虑数据，目标是精确地识别k < n的某个值的前k个项目，或者恢复所有项目的排名。我们分析了Copeland计数算法，该算法按成对比较的次数对项目进行排序，并表明它有三个吸引人的特点：（a）与以前的工作相比，它的计算效率导致计算时间的几个数量级的加速;（b）它是稳健的，因为理论保证不对成对比较概率的基础矩阵施加任何条件，与仅适用于BTL参数模型的一些先前工作相反;以及（c）它是常数因子的最优方法，这意味着它实现了用于恢复顶部k子集的信息理论限制。我们扩展我们的结果，以获得清晰的保证近似恢复下的汉明失真度量，更一般地说，任何任意的误差要求，满足一个简单而自然的单调性条件。
2016-04-27 cs.AI cs.IT cs.LG
Estimation from Pairwise Comparisons: Sharp Minimax Bounds with Topology Dependence
UC Berkeley（加州大学伯克利分校）
成对比较形式的数据出现在许多领域，包括偏好诱导、体育比赛和同伴评分等。我们认为参数序模型，这样的成对比较数据涉及一个潜在的向量$w^* \in \mathbb{R}^d$，代表“质量”的$d$项目进行比较，这类模型包括两个最广泛使用的参数模型-布拉德利特里卢斯（BTL）和Thurstone模型。工作在一个标准的极大极小框架内，我们提供了严格的上限和下限的最佳误差估计质量得分向量$w^*$在这一类的模型。边界依赖于比较图的拓扑结构，该比较图由通过其拉普拉斯谱进行比较的对的子集引起。因此，在设置中的子集对可以选择，我们的研究结果提供了原则性的指导方针，使这种选择。最后，我们比较这些出错率的基数测量模型下，并表明，出错率在顺序和基数设置有相同的缩放除了恒定的前置因子。
2015-05-06 cs.IT cs.LG math.IT
Active Ranking from Pairwise Comparisons and when Parametric Assumptions Don't Help
UC Berkeley（加州大学伯克利分校）
我们认为顺序或主动排名的一组n个项目的基础上嘈杂的成对比较。根据给定项目击败随机选择的项目的概率对项目进行排名，排名是指根据项目的得分将项目划分为预先指定大小的集合。这种排序的概念包括作为特殊情况的前k项的识别和项的总排序。我们首先分析一个顺序排序算法，该算法计算赢得比较的次数，并使用这些计数来决定是否停止，或比较另一对项目，根据收集到的数据指定的置信区间选择。我们证明，该算法使用多次比较成功地恢复了排名，这些比较在对数因子下是最佳的。这种保证不需要潜在的成对概率矩阵的任何结构属性，不像过去基于参数模型（如Thurstone或Bradley-Terry-Luce模型）的成对排序的重要工作。这一直是一个长期的开放问题，是否强加这些参数的假设允许改进的排名算法。对于随机比较模型，其中成对概率有界远离零，我们的第二个贡献是通过证明参数模型的下界来解决这个问题。这表明，也许令人惊讶的是，这些流行的参数建模选择提供了最多的对数增益随机比较。
2016-09-23 cs.AI cs.IT cs.LG
Worst-case vs Average-case Design for Estimation from Fixed Pairwise Comparisons
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
成对比较数据出现在许多领域，包括锦标赛排名，网络搜索和偏好诱导。在强随机传递性（SST）假设下，研究了固定子集的项目对的噪声比较问题。我们还考虑了SST模型的噪声排序子类。我们表明，当分配的项目的拓扑结构是任意的，这些基于置换的模型，不像他们的参数同行，不承认一致的估计，在实践中使用的大多数比较拓扑结构。然后，我们证明了一致的估计是可能的，当分配的项目的拓扑结构是随机的，从而建立了最坏情况和平均情况的设计之间的二分法。我们提出了两个估计在平均情况下设置和分析他们的风险，表明它只通过拓扑的度序列依赖于比较拓扑。这些估计所实现的速率被证明是最佳的一个大类的图。我们的研究结果证实了多个比较拓扑结构的模拟。
2017-07-19 cs.AI cs.IT cs.LG
Feeling the Bern: Adaptive Estimators for Bernoulli Probabilities of Pairwise Comparisons
UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）
我们研究的方法，聚合成对比较数据，以估计未来的比较结果的概率之间的集合n个项目。工作在一个灵活的框架内，只施加一种形式的强随机传递性（SST），我们引入了自适应指数定义的成对比较概率的无差异集。除了测量估计器的通常最坏情况风险外，该适应性指数还捕获估计器相对于Oracle估计器适应特定实例难度的程度。我们证明了三个主要的结果，涉及这个自适应指数和不同的算法。首先，我们提出了一个三步估计称为计数-随机化-最小二乘（CRL），并证明了它的适应性指数上界为$\sqrt{n}$的对数因子。然后，我们表明，在种植集团的硬度的条件下，没有计算效率高的估计器可以实现比$\sqrt{n}$更小的自适应指数。其次，我们表明，正则化的最小二乘估计可以实现多对数自适应指数，从而证明了$\sqrt{n}$之间的差距最佳和计算实现的自适应。最后，我们证明了标准的最小二乘估计，这是已知的最佳自适应在几个密切相关的问题，未能适应的上下文中估计成对概率。
2016-03-22 cs.AI cs.IT cs.LG
PromptShots at the FinNLP-2022 ERAI Tasks: Pairwise Comparison and Unsupervised Ranking
这份报告描述了我们对评估业余投资者资产（ERAI）的共享任务的提交。我们参与了成对比较和无监督排名任务。为了进行成对比较，我们采用了基于T5-small和OpenAI InstructGPT语言模型的基于简化的模型。令人惊讶的是，我们观察到在中国数据上训练的OpenAI InstructGPT语言模型Few-Shot在我们的提交中表现最好，在最大损失（ML）成对准确性方面排名第三。这个模型比在谷歌翻译的英语数据上训练要好得多，其中英语Few-Shot训练的InstructGPT模型甚至比在英语数据上微调的基于语法的T5-small模型表现得更差。然而，在有更多数据和学习信号的情况下，所有基于预防的提交在最大潜在利润（MPP）成对准确度上表现不佳。中国Few-Shot训练的InstructGPT模型在我们的设置中仍然表现最好。对于无监督排名，我们使用了许多语言模型，包括许多金融特定的，贝叶斯词典无监督学习的中文和英文单词使用矩估计方法。我们提交的所有作品在MPP排名中排名最高，从第1名到第3名。然而，他们都没有表现良好的ML评分。因此，MPP和ML评分需要不同的处理，因为我们使用相同的公式处理MPP和ML。我们唯一的区别是对市场情绪词汇的处理。
2023-01-16 cs.CL cs.CY cs.LG
A Family of Pairwise Multi-Marginal Optimal Transports that Define a Generalized Metric
Apple Inc.（苹果公司）；Suffolk University（萨福克大学）；Boston College（波士顿学院）
最优运输（OT）问题正在迅速进入机器学习。有利于它的使用是它的度量属性。许多问题的解决方案只能保证嵌入度量空间中的对象，而非度量的使用会使解决它们变得复杂。多边际OT（MMOT）将OT推广到同时运输多种分布。它捕捉了重要的关系，如果运输只涉及两个分布被错过。然而，对MMOT的研究主要集中在其存在性、唯一性、实用算法和代价函数的选择上。目前对MMOT的度量性质缺乏讨论，这限制了它的理论和实际应用。在这里，我们证明了一个家庭的成对MMOTs新的广义度量性质。我们首先通过两个否定的结果来解释证明这一点的困难。之后，我们证明了MMOT的度量性质。最后，我们证明了这个MMOTs族的广义三角不等式不能被改进。我们说明了我们的MMOTs优于其他广义指标，并在合成和真实任务的非指标。
2022-12-22 cs.DM cs.LG math.FA
How Many Repeated Pairwise Comparisons Are Needed for Ranking under Heterogeneity?
University of Maryland（马里兰大学）
本文针对偏好异质性场景，探究成对比较排序所需的重复次数，提出三种算法将所需次数从Ω(1/Δ²)降至最优的O(log(1/Δ))，其中俄罗斯轮盘算法期望仅需O(1)次，实验验证了算法性能。
2026-10-09 cs.IT cs.LG math.IT
Learning Mixtures of Permutations: Groups of Pairwise Comparisons and Combinatorial Method of Moments
Georgia Institute of Technology（佐治亚理工学院）；Yale University（耶鲁大学）
在秩聚合等应用中，当总体表现出异质性时，经常使用排列的混合模型。在这项工作中，我们研究了广泛使用的Malows混合模型。在高维设置中，我们提出了一个多项式时间算法，学习Mallow混合的$n$元素的最佳样本的复杂性，是成比例的$\log n$，改进以前的结果，规模与$n$的排列。在高噪声的制度，我们表征的样本复杂性的噪声参数的最佳依赖。这两个目标都是通过首先研究分层置换下的无噪声查询模型使用组的成对比较，这可以被看作是时刻的混合分布，然后将这些结果扩展到嘈杂的Mallow模型通过模拟无噪声的神谕。
2022-03-04 cs.DS cs.LG math.ST
Minimum Weighted Feedback Arc Sets for Ranking from Pairwise Comparisons
New Jersey Institute of Technology（新泽西理工学院）
本文提出基于组合算法的MWFAS方法，用于改进大规模排名任务，证明其在效率和准确性上的优势。
2025-12-04 cs.AI cs.DS cs.IR
Active Evaluation: Efficient NLG Evaluation with Few Pairwise Comparisons
Microsoft（微软）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；RBCDSAI, IIT Madras（印度理工学院马德拉斯分校罗希尼·巴拉钱德兰数据科学与人工智能学院）
最近的研究表明，使用成对比较而不是直接评估来评估NLG系统的优势。给定$k$系统，用于识别排名最高的系统的简单方法是从所有${k \choose 2}$系统对中均匀地获得成对比较。然而，这可能是非常昂贵的，因为所需的人工注释的数量将随着$k$成二次方地增长。在这项工作中，我们引入了主动评估，一个框架，以有效地确定排名靠前的系统，积极选择系统对比较使用决斗强盗算法。我们在13个NLG评估数据集上使用13个决斗强盗算法进行了广泛的实验，结果表明，人类注释的数量可以减少80%。为了进一步减少人类注释的数量，我们提出了基于模型的决斗强盗算法，结合自动评估指标与人类的评价。具体来说，我们甚至在人工注释过程之前就消除了次优系统，并且只在自动度量高度不确定的测试示例上进行人工评估。这将所需的人工注释数量进一步减少了89%。实际上，我们表明，识别排名靠前的系统只需要几百个人类注释，这些注释随着$k$线性增长。最后，我们提供了实用的建议和最佳实践，以有效地识别排名靠前的系统。我们的代码已在https://github.com/akashkm99/duelnlg上公开发布
2022-04-17 cs.AI cs.CL cs.LG
Stochastically Transitive Models for Pairwise Comparisons: Statistical and Computational Issues
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
有各种参数模型用于分析成对比较数据，包括Bradley-Terry-Luce（BTL）和Thurstone模型，但它们对强参数假设的依赖是有限的。在这项工作中，我们研究了一个灵活的成对比较模型，在该模型下，结果的概率只需要满足一个自然形式的随机传递性。这一类包括参数模型，包括BTL和Thurstone模型作为特殊情况，但更一般。我们提供了各种例子的模型在这个更广泛的随机传递类经典参数模型提供不良的配合。尽管这种更大的灵活性，我们表明，矩阵的概率可以估计在标准参数模型相同的速度。另一方面，与BTL和Thurstone模型不同，在随机传递模型中计算最小最大最优估计是不平凡的，我们探索了各种计算上易于处理的替代方案。我们表明，一个简单的奇异值阈值算法是统计上一致的，但没有达到极大极小率。然后，我们提出并研究算法，实现极大极小率超过有趣的子类的全随机传递类。我们补充我们的理论结果与彻底的数值模拟。
2016-09-28 cs.IT cs.LG math.IT
Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems
学习排序自2010年左右引入以来，是一种有效的推荐方式。著名的算法，如贝叶斯个性化排名和协作少即是多过滤，在学术界和工业界都留下了深刻的影响。然而，大多数学习排序方法专注于提高技术准确性指标，如AUC，MRR和NDCG。推荐系统的其他评价指标，如公平性，直到最近几年才在很大程度上被忽视。本文提出了一种新的学习排序算法Pareto Pairwise Ranking。我们的灵感来自贝叶斯个性化排名和幂律分布的想法。我们表明，我们的算法是有竞争力的技术精度指标评估时，与其他算法。更重要的是，在我们的实验部分中，我们证明了Pareto Pairwise Ranking是最公平的算法，与其他9个当代算法相比。
2022-12-06 cs.AI cs.IR cs.LG
Optimal Top-$k$ Identification from Pairwise Comparisons
研究从成对比较中进行固定置信度前\(k\)项识别的主动学习问题，刻画下界结构为鞍点问题并开发渐近最优算法，构造自适应比较分配算法并证明其渐近最优，最小化比较预期数量。
2026-07-13 cs.LG stat.AP stat.ML
