A number of applications (e.g., AI bot tournaments, sports, peer grading, crowdsourcing) use pairwise comparison data and the Bradley-Terry-Luce (BTL) model to evaluate a given collection of items (e.g., bots, teams, students, search results). Past work has shown that under the BTL model, the widely-used maximum-likelihood estimator (MLE) is minimax-optimal in estimating the item parameters, in terms of the mean squared error. However, another important desideratum for designing estimators is fairness. In this work, we consider fairness modeled by the notion of bias in statistics. We show that the MLE incurs a suboptimal rate in terms of bias. We then propose a simple modification to the MLE, which "stretches" the bounding box of the maximum-likelihood optimizer by a small constant factor from the underlying ground truth domain. We show that this simple modification leads to an improved rate in bias, while maintaining minimax-optimality in the mean squared error. In this manner, our proposed class of estimators provably improves fairness represented by bias without loss in accuracy.
On Learning Continuous Pairwise Markov Random Fields
Massachusetts Institute of Technology（麻省理工学院）
我们考虑从i.i.d样本中学习具有连续值变量的稀疏成对马尔可夫随机场（MRF）。我们调整了Vuffray等人的算法。（2019）在这种情况下，并提供有限样本分析，揭示样本复杂性随变量数量的变化规律，如离散和高斯设置。我们的方法是适用于一个大类的成对MRF连续变量，也有理想的渐近性质，包括在温和的条件下的一致性和正态性。此外，我们确定Vuffray等人（2019）中采用的优化标准的群体版本可以解释为局部最大似然估计（MLE）。作为我们分析的一部分，我们引入了稀疏线性回归a` la Lasso的稳健变化，这可能本身就很有趣。
A Margin-based MLE for Crowdsourced Partial Ranking
Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）；DeepWise AI Lab（深睿医疗人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong University of Science and Technology（香港科技大学）
从成对比较数据聚合的偏好顺序或排名通常被理解为严格的总顺序。然而，在现实世界的情况下，一些项目在比较中本质上是模糊的，这很可能是数据的固有不确定性。在这种情况下，传统的总订单排名不能捕捉这样的不确定性与单纯的全球排名或效用得分。在本文中，我们特别感兴趣的是最近激增的众包应用程序，以预测部分，但更准确（即，使不太不正确的陈述）命令而不是完整的命令。为此，我们提出了一个新的框架来学习一些偏序概率模型，作为\emph{margin-based Maximum Likelihood Estimate}（MLE）方法。我们证明了诱导的极大似然估计是一个关于所有参数的联合凸优化问题，包括全局排名分数和边缘参数。研究了基本均匀模型、Bradley-Terry模型和Thurstone-Mosteller模型三种广义线性模型，并对所提方法的FDR和功率控制进行了理论分析。这些模型的有效性得到了仿真和真实数据集的实验支持，这表明所提出的模型与传统的最先进的算法相比表现出了改进。
