Riffled Independence for Efficient Inference with Partial Rankings
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
排名上的分布被用来在众多的现实世界中建模数据，如偏好分析和政治选举。建模这样的分布提出了几个计算上的挑战，但是，由于阶乘大小的一组排名的项目集。其中一些挑战是人工智能社区非常熟悉的，例如如何在组合的大空间上压缩表示分布，以及如何使用这些表示有效地执行概率推理。然而，关于排名，还有一个额外的挑战，我们称之为人工任务复杂性，用户很少愿意在一长串候选人上提供完整的排名，而往往更喜欢提供部分排名信息。同时应对所有这些挑战，即，设计一个能够进行有效推理并可以使用部分排序数据来学习的复杂可表示模型是一项困难的任务，但如果我们想扩展到具有非平凡大小的问题，则这是必要的。在本文中，我们表明，最近提出的rifled独立性假设干净，有效地解决了上述每一个挑战。特别是，我们建立了一个紧密的数学连接的概念之间的随机独立性和部分排名。这种对应关系不仅允许我们开发高效和精确的算法，用于使用具有部分排名的基于随机独立性的表示来执行推理任务，而且令人惊讶的是，还表明对于具有不采取部分排名形式的观察的随机独立模型（在某种意义上），高效推理是不可能的。最后，使用我们的推理算法，我们介绍了第一种方法，用于从部分排名数据中学习基于rifled独立性的模型。
2014-01-23 cs.LG
Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference
Amazon（亚马逊）
提出PRECISE框架，将预测驱动推断扩展到排序评估指标，通过结合少量人工标注和大量LLM判断实现无偏估计，并在ESCI基准和实际系统中验证了有效性。
2026-06-03 cs.AI cs.CL cs.IR
Statistical Inference for Incomplete Ranking Data: The Case of Rank-Dependent Coarsening
Paderborn University（帕德博恩大学）；University of Oviedo（奥维耶多大学）
我们考虑排名数据的统计推断问题，特别是排名聚合，假设样本是不完整的意义上，不包括所有的选择方案。与大多数现有的方法相比，我们显式地模拟了将完整排名变成不完整排名的过程，我们称之为粗化过程。为此，我们提出了排名相关粗化的概念，它假设不完整的排名是通过将完整的排名投影到随机的排名子集来产生的。对于我们的模型的一个具体实例，其中完整的排名是从Plackett-Luce分布和意见采取成对偏好的形式，我们研究了各种排名聚合方法的性能。除了在有限样本设置的预测准确性，我们解决的一致性的理论问题，我们的意思是恢复目标排名时，样本量到无穷大的能力，尽管潜在的偏见所造成的观察（未知）粗化。
2017-12-04 cs.LG math.ST stat.ML
Model inference for ranking from pairwise comparisons
Department of Engineering, University of Cambridge, CB2 1PZ, United Kingdom（剑桥大学工程系）
本文提出了一种高效算法，用于从噪声的成对比较中推断对象的强度及概率映射函数，通过实验验证了贝叶斯方法的鲁棒性。
2025-12-17 cs.LG cs.SI stat.ML
Bayesian inference for bivariate ranks
Université du Québec à Montréal（蒙特利尔魁北克大学）；Université de Montréal（蒙特利尔大学）；Université catholique de Louvain（天主教鲁汶大学）
提出了一种基于排名的推荐系统，其中专家对一组对象的排名和用户对这些对象的子集的排名相结合，以预测用户对所有对象的排名。排名被认为是由潜在的连续变量对应的专家和用户的对象分配的等级诱导。专家和用户的等级之间的依赖关系是由一个Copula在一些参数的家庭。给定copula参数的先验分布，在专家完全排序和用户不完全排序的条件下，通过用户完全排序的后验预测分布模型预测用户的完全排序.提出了各种马尔可夫链蒙特卡罗算法来近似预测分布或仅近似其模式。通过对Farlie-Gumbel-Morgenstern Copula函数族的分析，得到了精确的预测分布，为算法的逼近精度提供了一个基准。该方法应用于MovieLens 100 k数据集，专家和用户的等级之间具有高斯copula建模依赖性。
2018-02-09 cs.LG stat.ML
Pentagon at MEDIQA 2019: Multi-task Learning for Filtering and Re-ranking Answers using Language Inference and Question Entailment
Carnegie Mellon University（卡内基梅隆大学）
像微调的BERT和MT-DNN这样的并行深度学习架构已经迅速成为最先进的技术，大大绕过了以前的深度和浅层学习方法。最近，来自大型相关数据集的预训练模型已经能够在许多下游任务上表现良好，只需对特定领域的数据集进行微调。然而，由于并行架构的输入大小限制和极小的数据集（不足以进行微调），在非平凡任务（如排名和大型文档分类）上使用强大的模型仍然是一个挑战。在这项工作中，我们引入了一个端到端的系统，在多任务设置中进行训练，以过滤和重新排列医疗领域的答案。我们使用特定于任务的预训练模型作为深度特征提取器。在ACL-BioNLP研讨会MediQA问答共享任务上，我们的模型达到了最高的Spearman的Rho和平均倒数秩分别为0.338和0.9622。
2019-07-01 cs.CL cs.IR cs.LG
Lagrangian Inference for Ranking Problems
Harvard University（哈佛大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）
本文提出一种新的组合推断框架，用于在排序问题中进行一般不确定性量化，基于Bradley-Terry-Luce模型，推断局部和全局排序属性，并通过数值实验验证方法的最优性。
2021-10-01 cs.LG math.ST stat.ML
AIF: Asynchronous Inference Framework for Cost-Effective Pre-Ranking
Taobao \& Tmall Group of Alibaba Beijing China；Taobao \& Tmall Group of Alibaba
AIF通过异步推理框架提高推荐系统预排序效率，减少延迟并优化模型架构。
2025-11-20 cs.IR cs.LG
A Unified Causal Inference Framework for the Desirability of Outcome Ranking Paradigm in Benefit-Risk Evaluation
The George Washington University（乔治·华盛顿大学）；The Biostatistics Center, The George Washington University（乔治·华盛顿大学生物统计中心）；AbbVie Inc.（艾伯维公司）
本研究提出统一协变量调整因果推断框架，用于估计DOOR概率，通过模拟比较多种方法后发现CVTMLE-SL在DOOR相关指标上整体性能最优，并结合多重耐药菌网络数据验证方法。
2026-08-07 cs.LG stat.ME stat.ML
Enterprise-Scale Search: Accelerating Inference for Sparse Extreme Multi-Label Ranking Trees
Stanford University（斯坦福大学）；Amazon Search（亚马逊搜索）
基于树的模型由于其次线性推理时间而支撑许多现代语义搜索引擎和推荐系统。在工业应用中，这些模型在极端规模下运行，其中每一点性能都至关重要。在极端尺度下的内存限制也要求模型是稀疏的，因此基于树的模型通常由稀疏矩阵代数例程后端处理。然而，目前还没有专门为稀疏结构设计的稀疏矩阵技术，在基于树的模型中遇到极端的多标签排名/分类（XMR/XMC）问题。为了解决这个问题，我们提出了屏蔽稀疏块乘法（MSCM）技术，一个稀疏矩阵技术专门为XMR树。MSCM易于实现，可并行化，并免费为任何现有的树推理流水线提供显着的性能提升。我们进行了一个全面的研究MSCM应用到几个不同的稀疏推理方案和基准我们的方法上的通用极端多标签排名框架。我们观察到MSCM在在线和批量推理设置、单线程和多线程设置以及许多不同的树模型和数据集上都提供了一致的显著加速。为了证明其在工业应用中的实用性，我们将MSCM应用于具有1亿种产品的企业级语义产品搜索问题，并在单个线程上实现了每次查询0.88 ms的亚毫秒延迟-延迟比香草推理技术减少了8倍。MSCM技术绝对不需要牺牲模型精度，因为它给出了与标准稀疏矩阵技术完全相同的结果。因此，我们相信MSCM将使XMR树的用户能够以非常小的成本在其推理管道中节省大量的计算资源。
2022-02-23 cs.LG
Exponential Family Graph Matching and Ranking
NICTA（澳大利亚国家信息与通信技术研究院）；Research School of Information Sciences and Engineering, Australian National University（澳大利亚国立大学信息科学与工程研究学院）
我们提出了一种学习二分图中最大权重匹配预测的方法。该方法包括在指数族中进行最大后验估计，并具有足够的统计量来编码排列和数据特征。虽然推理是在一般困难，我们表明，一个非常相关的应用程序-网页排名-精确的推理是有效的。对于一般的模型实例，适当的采样器是现成的。与现有的最大利润率匹配模型相反，我们的方法在统计上是一致的，此外，随着样本量的增加，实验表明优于这种模型的改进。我们将该方法应用于计算机视觉中的图匹配以及用于学习网页排名的标准基准数据集，其中我们获得了最先进的结果，特别是改进了最大边缘变量。这种方法相对于最大余量替代品的缺点是它的运行时间为大型图，这是比较高的。
2009-06-05 cs.AI cs.LG
Accelerated MM Algorithms for Ranking Scores Inference from Comparison Data
London School of Economics（伦敦政治经济学院）；KAIST（韩国科学技术院）
本文研究了Bradley-Terry模型参数推断的一种流行方法，即MM算法，用于极大似然估计和最大后验概率估计。这类模型包括Bradley-Terry配对比较模型、允许平局结果的Rao-Kupper配对比较模型、Luce选择模型和Plackett-Luce排名模型。我们建立了MM算法的收敛速度的严格特征，并表明它本质上是等价的梯度下降算法。对于极大似然估计，收敛速度与观测比较数据中项目对同现矩阵的代数连通性密切相关。对于贝叶斯推断，收敛速度也被证明是线性的，由先验分布的一个参数确定的速度的方式，可以使收敛任意慢，这个参数的小值。我们提出了一个简单的修改经典MM算法，避免了观察到的缓慢收敛问题，加快收敛。加速MM算法的关键组成部分是在每个迭代步骤中执行的参数重新缩放，该参数重新缩放是根据理论分析和收敛速度的表征来仔细选择的。我们的实验结果，在合成和真实世界的数据上进行，证明了经典MM算法的收敛速度慢的问题，并表明我们提出的新方法可以获得显着的效率增益。
2020-12-26 cs.LG math.OC stat.ML
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence
Microsoft（微软）；TU Wien（维也纳工业大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
Transformer-Kernel（TK）模型在TREC深度学习基准测试中表现出了强大的重新排序性能，可以被认为是一种高效的（但效果稍差）替代其他基于Transformer的架构，这些架构采用（i）大规模预训练（高培训成本），（ii）查询和文档的联合编码（高推理成本），以及（iii）更大数量的Transformer层（高训练和高推理成本）。从那时起，TK模型的一个变体--称为TKL --被开发出来，它结合了局部自注意力，在文档排序的上下文中有效地处理较长的输入序列。在这项工作中，我们提出了一种新的构象层作为一种替代方法来扩展TK更长的输入序列。此外，我们将查询词的独立性和显式的长期匹配扩展到完整的检索设置的模型。我们在TREC 2020深度学习赛道的严格盲评估设置下对我们的模型进行了基准测试，发现我们提出的架构更改导致了TKL检索质量的提高。我们的最佳模型在NDCG@10上的性能也优于所有非神经运行（“trad”）和三分之二的基于transformer的预训练运行（“nnlm”）。
2021-04-19 cs.AI cs.IR cs.LG
Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models
Tokyo Institute of Technology（东京工业大学）；CyberAgent, Inc（CyAgent公司）
研究条件平均处理效应（CATE）预测中的模型选择问题。与以前的作品在这个主题上，我们专注于保持候选CATE预测的性能的排名顺序，使准确和稳定的模型选择。为此，我们分析了模型性能排名问题，并制定准则，以获得更好的评价指标。然后，我们提出了一种新的度量，可以识别CATE预测器的性能具有高置信度的排名。实证评估表明，我们的度量优于现有的度量在模型选择和超参数调整任务。
2020-07-16 cs.LG stat.ML
Spectral Ranking Inferences based on General Multiway Comparisons
本文面向异质超边多路比较，提出可达到 MLE 渐近效率的两步谱估计与单/双样本排序推断框架，并通过模拟及期刊、电影排名数据验证。
2024-03-01 cs.IT cs.LG math.IT
Prompt-Dependent Ranking of Large Language Models with Uncertainty Quantification
Department of Statistics and Data Science, UCLA（统计与数据科学系，加州大学洛杉矶分校）；Department of Statistics, University of Michigan（统计系，密歇根大学）；Department of Statistics and Data Science, and of Biostatistics, UCLA（统计与数据科学系及生物统计学系，加州大学洛杉矶分校）
本文提出了一种基于提示依赖的排名推断框架，通过统计有效的不确定性保证，改进大语言模型的排名决策。
2026-02-11 cs.CL cs.LG
RelayGR: Scaling Long-Sequence Generative Recommendation via Cross-Stage Relay-Race Inference
Huawei Technologies Co., Ltd.（华为技术有限公司）
RelayGR通过跨阶段接力竞赛推断技术，提升生成式推荐的序列长度和吞吐量
2026-01-05 cs.AI cs.DC cs.LG
An Efficient Combinatorial Optimization Model Using Learning-to-Rank Distillation
Sungkyunkwan University（成均馆大学）
最近，深度强化学习（RL）已经证明了其在解决组合优化问题（COP）中的可行性。学习排序技术是信息检索领域的研究热点。虽然几个COP可以被公式化为输入项的优先级排序，这在信息检索中是常见的，但还没有充分探索如何将学习排序技术结合到COP的深度RL中。在本文中，我们提出了基于学习排序蒸馏的COP框架，其中通过RL获得的COP的高性能排名策略可以被蒸馏成非迭代的简单模型，从而实现低延迟的COP求解器。具体来说，我们采用近似的排名蒸馏，使基于分数的排名模型通过梯度下降学习。此外，我们使用有效的序列采样，以提高推理性能与有限的延迟。通过该框架，我们证明了一个蒸馏模型不仅可以实现与其各自的高性能RL相当的性能，而且还可以提供几倍的推理速度。我们评估的框架与几个COP，如基于优先级的任务调度和多维背包，展示了推理延迟和性能方面的框架的好处。
2021-12-24 cs.AI cs.IR cs.LG
Transductive Conformal Inference for Full Ranking
IMAG（蒙彼埃亚历山大格罗滕迪克研究所）；IROKO；Univ. Montpellier（蒙彼利埃大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LPSM（皮埃尔与玛丽·居里概率统计实验室）；Sorbonne Université（索邦大学）；Université Paris Saclay（巴黎-萨克雷大学）；Institut Mathématique d’Orsay（奥赛数学研究所）
本文提出基于符合预测的方法，用于量化全排序算法在未知排名中的不确定性，并通过实验验证其有效性。
2025-12-03 cs.LG stat.ME stat.ML
SCATR: Simple Calibrated Test-Time Ranking
SCATR通过利用基础模型的隐藏表示，从小型校准集学习轻量级评分器，提升了测试时间排名的效率和准确性，在多个基准测试中优于传统方法。
2026-04-21 cs.AI cs.LG
Active Inference as Context Acquisition for AI Agents
University of California, Davis（加利福尼亚大学戴维斯分校）；Technical University of Munich（慕尼黑工业大学）
该研究将AI智能体的上下文获取权衡形式化为主动推理，在最优提问框架中验证其有效性，为智能体上下文获取层提供模型无关的设计原则。
2026-08-21 cs.AI cs.CL cs.LG
ASU at TextGraphs 2019 Shared Task: Explanation ReGeneration using Language Models and Iterative Re-Ranking
Arizona State University（亚利桑那州立大学）
在这项工作中，我们描述了来自亚利桑那州立大学自然语言处理小组的TextGraphs 2019共享任务的系统。该任务的重点是解释再生，这是在大型图上进行一般多跳推理的中间步骤。我们的方法包括建模的解释再生任务作为一个\textit{learning to rank}问题，我们使用最先进的语言模型和探索数据集准备技术。我们利用一个迭代的重新排名为基础的方法，以进一步提高排名。我们的系统在测试集上以41.3%的平均精度（MAP）获得了任务的第二名。
2019-09-19 cs.CL cs.IR cs.LG
Mirror-Score: Calibrated, Inference-only Scoring Exposes the Limits of Sequence-compatibility Ranking in D-peptide Design
AI Scientist, Albany, NY, USA, 12205（AI Scientist，奥尔巴尼，纽约州，美国，12205）
提出Mirror-Score，一种校准的仅推理评分框架，用于D-肽设计，揭示ProteinMPNN NLL排序的局限，并通过Boltz-2置信度实现有效的亲和力排序。
2026-09-30 cs.AI cs.CE cs.ET
Passage Re-ranking with BERT
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
最近，神经模型在语言建模任务上进行了预训练，例如ELMo（Peters等人，2017）、OpenAI GPT（Radford等人，2018）和BERT（Devlin et al.，2018年），在各种自然语言处理任务上取得了令人印象深刻的成果，如问答和自然语言推理。在本文中，我们描述了一个简单的重新实现BERT的查询为基础的段落重新排名。我们的系统是TREC-CAR数据集的最新技术水平，也是MS MARCO通道检索任务排行榜的最佳条目，在MRR@10中比以前的最新技术水平高出27%（相对）。可在https://github.com/nyu-dl/dl4marco-bert上获得重现我们结果的代码
2020-04-14 cs.CL cs.IR cs.LG
PRECISE: Reducing the Bias of LLM Evaluations Using Prediction-Powered Ranking Estimation
Primary contributor and corresponding author（主要贡献者及通讯作者）
提出PRECISE框架，通过结合少量人工标注与LLM判断，利用预测驱动推断（PPI）方法，在低资源下可靠估计搜索、排序和RAG系统的指标，并校正LLM偏差。
2026-01-26 cs.AI cs.CL cs.IR
Learning rewards for robotic ultrasound scanning using probabilistic temporal ranking
Monash University（莫纳什大学）；University of Edinburgh（爱丁堡大学）
本文提出概率时间排序方法，从探索性演示中推断奖励函数，用于自主超声扫描的信息路径规划，改进现有奖励推断方法。
2023-06-22 cs.LG cs.RO
Fortytwo: Swarm Inference with Peer-Ranked Consensus
针对中心化AI推理扩展瓶颈，提出基于群体智能与同伴排名共识的Fortytwo协议，通过声誉加权、能力证明等机制实现更高推理准确率与抗攻击能力，为去中心化AI推理奠定基础。
2025-10-27 cs.AI cs.CL cs.LG
Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
提出PARS调度器，通过成对排序预测任务响应长度，近似最短作业优先调度，减少队头阻塞，在vLLM上实现高达15.7倍延迟降低。
2026-06-29 cs.AI cs.DC cs.LG
Bayesian inference of a new Mallows model for characterising symptom sequences applied in primary progressive aphasia
University College London（伦敦大学学院）；UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所）；UCL Centre for Medical Image Computing（伦敦大学学院医学影像计算中心）；Dementia Research Centre（痴呆研究中心）
本研究通过定制MCMC拟合改进Mallows模型以处理部分排序和右删失数据，利用贝叶斯推断刻画原发性进行性失语症症状序列，有效揭示症状平均排序与方差，为临床理解症状发生提供支持。
2023-11-22 cs.LG
Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation
Harvard Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Columbia University（哥伦比亚大学）；Duke University（杜克大学）；University of Miami（迈阿密大学）
本文针对大语言模型排序评估问题，提出基于非参数上下文排序的假设检验框架，并引入置信图概念以有向图形式刻画排序置信集，通过推广高斯乘子自助法证明其有效性，实验表明该方法能为不同医学领域中大语言模型的性能评估提供可靠洞见。
2025-02-10 cs.LG stat.ME stat.ML
Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models
Comcast AI Technologies（康卡斯特人工智能技术公司）；University of Waterloo（滑铁卢大学）
本文提出置换自一致性方法，通过打乱提示中列表顺序并聚合排序结果来消除黑盒LLMs的位置偏差，在多个数据集上显著提升了列表式排序性能并超越先前最优。
2024-04-22 cs.CL cs.LG
