LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking
Oregon State University(俄勒冈州立大学);Pennsylvania State University(宾夕法尼亚州立大学)
针对基于LLM的排序方法存在的顺序不一致和传递不一致问题,提出LLM-RankFusion框架,通过上下文学习校准偏好概率及聚合多排序器结果缓解不一致,提升排序质量。
2024-11-26 cs.AI cs.CL cs.IR
An Overview and Comparison of Axiomatization Structures Regarding Inconsistency Indices' Properties in Pairwise Comparisons Methods
Symbiosis Institute of Technology, Symbiosis International (Deemed University) (SIU)(共生国际(认定大学)共生技术学院);D. Y. Patil International University (DYPIU)(D·Y·帕蒂尔国际大学);Silesian University in Opava(奥帕瓦西里西亚大学)
本文全面回顾了过去十年层次分析法中不一致性指数性质的公理化进展,并对现有公理结构进行比较与讨论,指出了未来研究方向。
2024-08-23 cs.AI cs.LO
Inconsistency thresholds for incomplete pairwise comparison matrices
Corvinus University of Budapest (BCE)(布达佩斯考文纽斯大学);Institute for Computer Science and Control (SZTAKI)(计算机科学与控制研究所);Eötvös Loránd Research Network (ELKH)(厄特沃什·罗兰研究网络)
成对比较矩阵越来越多地用于缺少某些对的设置。然而,存在一些类似的不完整的数据集的不一致性指标,并没有合理的措施有一个相关的阈值。本文概括了著名的经验法则的可接受程度的不一致性,提出了Saaty,不完整的两两比较矩阵。扩展是基于选择丢失的元素,使得不完整矩阵的最大特征值最小化。因此,建立良好的随机指数的值不能被采用:随机矩阵的不一致性被发现是矩阵的大小和缺失元素的数量的函数,在后一个变量的情况下,几乎线性相关。我们的研究结果可以直接内置到决策软件中,并由从业者作为接受或拒绝不完整的成对比较矩阵的统计标准。
2021-12-03 cs.AI math.OC math.ST
A different perspective on a scale for pairwise comparisons
Computer and Automation Research Institute(计算机与自动化研究所);Hungarian Academy of Sciences(匈牙利科学院);Laurentian University(劳伦森大学);Case Western Reserve University(凯斯西储大学);Université Pierre et Marie Curie-Paris 6(皮埃尔和玛丽·居里大学-巴黎第六大学)
集体智慧面临的主要挑战之一是不一致性,这在涉及主观评估时是不可避免的。两两比较允许一个代表这样的主观评估,并通过分析,量化和识别的不一致性来处理它们。我们建议使用更小的尺度进行成对比较,并为这种变化提供数学和实际的理由。我们的假设的目的是启动一个范式转变,在寻找一个更好的规模建设成对比较。除了成对比较,所呈现的结果可能与使用主观量表的其他方法相关。关键词:成对比较、集体智慧、量表、主观评估、不准确、不一致。
2015-08-05 cs.AI
DeFiRank: Federated Pairwise Ranking for Governance in Decentralized Financial Networks
École de technologie supérieure(高等技术学院);T-RIZE GROUP(T-RIZE集团);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
针对去中心化金融网络现有治理方法的局限,提出DeFiRank联邦成对排序框架,在保护数据隐私的同时实现接近集中式基线的排序性能,可用于区块链网络的可靠治理决策。
2026-10-12 cs.AI
New results on inconsistency indices and their relationship with the quality of priority vector estimation
Czestochowa University of Technology(琴斯托霍瓦理工大学)
本文主要研究基于成对比较的排序方法中的不一致性问题。近年来,这方面的“不一致”问题引起了广泛关注。文献为我们提供了一些不同的“不一致性”指标,建议用于衡量成对比较矩阵(PCM)的不一致性。后者被理解为PCM偏离了“一致情况”--这一概念在该理论中得到了正式的定义。然而,指数的使用仅由一些理论来证明。目前还不清楚他们真正“衡量”的是什么。更重要的是,他们的价值观和决策者判断的“一致性”之间的关系,以及优先级的结果。我们提供的例子表明,有必要区分以下三个任务:“测量”的“PCM不一致性”和基于PCM的“测量”的一致性决策者的判断,最后,“测量”的有用性的PCM作为信息源的优先向量(PV)的估计。接下来,我们关注第三个任务,这似乎是多标准决策中最重要的一个。借助蒙特卡罗实验,我们研究了各种不一致性指标作为最终PV估计质量指标的性能。所提出的结果可以更深入地了解这些指数中包含的信息,并帮助在特定情况下选择一个合适的。他们还使我们能够开发一个新的不一致性的特点,并在此基础上,提出PCM接受的方法,是由经典的统计方法支持。
2015-09-15 cs.AI
Beyond Pairwise Comparisons in Social Choice: A Setwise Kemeny Aggregation Problem
Université Paris-Dauphine(巴黎第九大学);Université PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);LAAS-CNRS(法国国家科学研究中心自动化系统实验室);IRIT-CNRS(法国国家科学研究中心信息技术与应用研究所);Université de Toulouse(图卢兹大学);Sorbonne Université(索邦大学)
在本文中,我们主张使用setwise比赛聚合成一个输出排名的一组输入排名。我们提出了一个推广的Kemeny规则,其中一个最大限度地减少了数量的k-wise分歧,而不是成对的分歧(一个计数1分歧,每次在一个子集中的最高选择的基数最多k之间的输入排名和输出排名不同)。经过算法的研究,这个k-wise Kemeny聚集问题,我们介绍了一个k-wise对应的多数图。该图显示了将聚合问题划分为几个子问题的有用性,这使得能够加速共识排名的精确计算。通过引入Spearman距离的k-wise对应物,我们还为k-wise Kemeny聚集问题提供了一个2-近似算法.最后,我们进行了数值测试。
2022-02-09 cs.AI
Entropy production rate as a criterion for inconsistency in decision theory
Department of Systems Biology, Columbia University(哥伦比亚大学系统生物学系)
个人和群体的决策是复杂的,通常涉及从众多选项中选择一个合适的替代方案。评估成对比较将这些复杂的决策问题分解为易于处理的问题。成对比较矩阵(PCM)经常用于解决多准则决策(MCDM)问题,例如使用Saaty的层次分析法(AHP)框架。然而,使用PCM存在两个显著缺点。首先,人类以不一致的方式评估PCM。其次,并非大型PCM的所有条目都可以由人类决策者可靠地填充。我们解决这两个问题,首先建立一个新的PCM和时间不可逆马尔可夫过程之间的连接。具体来说,我们表明,每个PCM诱导一个家庭的耗散最大路径熵随机游动(MERW)的替代品。我们表明,只有“一致的”PCM对应于详细的平衡MERW。我们确定的非平衡熵产生的诱导MERW作为度量的不一致性的基础PCM。值得注意的是,熵产生满足所有最近制定的合理一致性指数的标准。我们还提出了一种方法,使用不完全填充PCM层次分析法。还讨论了未来的潜在途径。关键词:层次分析法,马尔可夫链,最大熵
2018-04-23 cs.AI
Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems
学习排序自2010年左右引入以来,是一种有效的推荐方式。著名的算法,如贝叶斯个性化排名和协作少即是多过滤,在学术界和工业界都留下了深刻的影响。然而,大多数学习排序方法专注于提高技术准确性指标,如AUC,MRR和NDCG。推荐系统的其他评价指标,如公平性,直到最近几年才在很大程度上被忽视。本文提出了一种新的学习排序算法Pareto Pairwise Ranking。我们的灵感来自贝叶斯个性化排名和幂律分布的想法。我们表明,我们的算法是有竞争力的技术精度指标评估时,与其他算法。更重要的是,在我们的实验部分中,我们证明了Pareto Pairwise Ranking是最公平的算法,与其他9个当代算法相比。
2022-12-06 cs.AI cs.IR cs.LG
From Semantic Retrieval to Pairwise Ranking: Applying Deep Learning in E-commerce Search
我们将深度学习模型引入到全球最大的电子商业平台之一JD.com的产品搜索中最重要的两个阶段。具体来说,我们概述了一个深度学习系统的设计,该系统可以在几毫秒内检索与查询语义相关的项目,以及一个成对的深度重新排名系统,该系统可以学习微妙的用户偏好。与传统的搜索系统相比,本文提出的方法在语义检索和个性化排序方面有了明显的改进。
2021-03-24 cs.AI cs.IR cs.LG
A Differentiable Ranking Metric Using Relaxed Sorting Operation for Top-K Recommender Systems
Sungkyunkwan University(成均馆大学)
推荐系统通过计算项目的偏好分数、根据分数对项目进行排序以及过滤具有高分数的前K个项目来为用户生成个性化推荐。虽然对项目进行排序和排名是这个推荐过程不可或缺的一部分,但将它们纳入端到端模型训练的过程并非易事,因为排序是不可微的,并且难以用梯度下降进行优化。这导致了现有的学习目标和排名指标之间的不一致性问题。在这项工作中,我们提出了DRM(微分排名度量),减轻了不一致性,并通过采用微分放松排名度量,提高推荐性能。通过与几个真实世界的数据集的实验,我们证明了DRM目标的联合学习现有的基于因子的推荐器显着提高了推荐的质量,与其他国家的最先进的推荐方法相比。
2020-12-05 cs.AI cs.IR
A Neural Pairwise Ranking Model for Readability Assessment
University of Toronto(多伦多大学)
自动可读性评估(ARA),即为文本分配阅读水平的任务,传统上被视为自然语言处理研究中的分类问题。在本文中,我们提出了第一个神经,成对的排名方法ARA和现有的分类,回归和(非神经)排名方法进行比较。我们建立我们的模型的性能进行实验,三个英语,法语和西班牙语数据集。我们证明了我们的方法在单语单/跨语料库测试场景中表现良好,并且在英语数据上训练时,法语和西班牙语的zero-shot跨语言排名准确率超过80%。此外,我们还发布了一个新的英语和法语双语可读性数据集。据我们所知,本文提出了第一个神经成对排序模型的ARA,并显示了跨语言,zero-shot评估ARA与神经模型的第一个结果。
2022-03-14 cs.AI cs.CL cs.LG
TSPRank: Bridging Pairwise and Listwise Methods with a Bilinear Travelling Salesman Model
University of Edinburgh(爱丁堡大学);Nvidia Research(英伟达研究院)
针对传统成对排序全局效果差、列表式排序调参复杂提升有限的问题,提出将排序重构为旅行商问题的TSPRank混合方法,可集成到现有骨干模型嵌入中,在多任务多模型上显著优于纯成对和列表式方法。
2025-03-23 cs.AI cs.IR
Post Hoc Regression Refinement via Pairwise Rankings
MPI-INF(马克斯·普朗克研究所信息部门);MIT(麻省理工学院)
针对数据稀缺场景下深度学习回归器精度下降的问题,提出即插即用的事后精修方法RankRefine,结合基础回归输出与成对排序估计,无需重训练即可在分子属性预测等任务中有效降低误差,适用性广泛。
2025-10-01 cs.AI cs.LG
An application of incomplete pairwise comparison matrices for ranking top tennis players
Institute for Computer Science and Control, Hungarian Academy of Sciences (MTA SZTAKI)(匈牙利科学院计算机科学与控制研究所(MTA SZTAKI));Corvinus University of Budapest(布达佩斯考文纽斯大学)
两两比较法是多属性决策中的一种重要工具。成对比较矩阵(PCM)已被应用于排名标准和评分的替代品,根据给定的标准。本文提出了一个特殊的应用程序不完全PCM:排名的职业网球运动员的基础上,他们的结果对对方。入选的25名球员在过去40年中或长或短的时间内一直处于ATP排名的首位。他们中的一些人从未在球场上见过面。本文的目的之一是提供所选球员的排名,然而,不完整的成对比较矩阵的分析也是重点。采用特征向量法和对数最小二乘法对不完全PCM进行权值计算。在我们的结果中,40年来排名前三的球员是纳达尔、费德勒和桑普拉斯。一些问题已经提出了不完整的PCM的属性,并仍有待进一步调查。
2016-11-02 cs.AI cs.GT stat.AP
Correct Looks Better: Pairwise Comparisons Reveal Accuracy Rankings
Max Planck Institute for Intelligent Systems, Tübingen, Germany(马克斯·普朗克智能系统研究所,蒂宾根,德国);Tübingen AI Center(蒂宾根人工智能中心)
本文通过将基准测试转化为生成式评估,发现成对比较结合Elo方法得到的模型排名与基于真实准确率的排名高度一致(Spearman相关系数>0.9),且风格和裁判偏见影响较小,但答案重复(echo)是裁判偏好的因果驱动因素。
2026-06-08 cs.AI cs.CL cs.LG
Semantic-Based Explainable AI: Leveraging Semantic Scene Graphs and Pairwise Ranking to Explain Robot Failures
Georgia Institute of Technology(佐治亚理工学院)
在非结构化的人类环境中进行交互时,偶尔的机器人故障是不可避免的。当这种故障发生时,普通人,而不是训练有素的技术人员,将首先做出反应。现有的自然语言解释手动注释来自环境的上下文信息,以帮助日常人们理解机器人故障。然而,这种方法缺乏普遍性和可扩展性。在我们的工作中,我们引入了一个更普遍的语义解释框架。我们的框架自动捕捉场景中的语义信息,为日常用户提供语义描述性解释。为了生成语义上接地的以失败为中心的解释,我们利用语义场景图从环境中提取空间关系和对象属性,以及成对排名。我们的研究结果表明,这些语义描述性的解释显着提高日常用户的能力,既确定故障,并提供援助的恢复比现有的国家的最先进的基于上下文的解释。
2021-08-08 cs.AI cs.RO
Spectral Ranking using Seriation
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Microsoft Research(微软研究院)
我们描述了一个序列化算法,用于对一组项目进行排序,这些项目之间进行成对比较。直观地说,该算法将类似的排名分配给与所有其他项目进行类似比较的项目。它通过从成对比较中构建相似性矩阵,使用序列化方法对该矩阵进行重新排序并构建排名来实现。我们首先表明,这种光谱序列化算法恢复真实的排名时,所有成对的比较观察和一致的总顺序。然后,我们表明,排名重建仍然是准确的,当一些成对的比较损坏或丢失,序列化的频谱排名是更强大的噪声比经典的评分方法。最后,当只观察到比较的随机子集时,我们限制了排名误差。序列化公式的另一个好处是它允许我们解决半监督排名问题。在合成数据集和真实数据集上的实验表明,与经典的排序方法相比,基于序列化的光谱排序具有竞争力,在某些情况下具有优越的性能。
2016-03-10 cs.AI cs.LG stat.ML
Minimum Weighted Feedback Arc Sets for Ranking from Pairwise Comparisons
New Jersey Institute of Technology(新泽西理工学院)
本文提出基于组合算法的MWFAS方法,用于改进大规模排名任务,证明其在效率和准确性上的优势。
2025-12-04 cs.AI cs.DS cs.IR
Approximate Ranking from Pairwise Comparisons
Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校)
机器学习中的一个常见问题是基于成对比较对一组n个项目进行排名。这里的排序是指根据项目的分数将项目划分为预先指定大小的集合,其中包括将前k个项目识别为最突出的特殊情况。给定项目的得分被定义为它击败随机选择的其他项目的概率。找到一个确切的排名通常需要大量的比较,但在实践中,近似的排名往往是足够的。因此,我们研究了从成对比较中找到近似排名的问题。我们分析了一个主动排名算法,该算法计算赢得的比较次数,并根据从先前步骤中收集的数据计算的置信区间来决定是否停止或下一步比较哪对项目。我们表明,该算法成功地恢复近似排名使用的比较,接近最佳的对数因子。我们还提出了数值结果,表明在实践中,近似可以大大减少估计排名所需的比较次数。
2018-01-04 cs.AI cs.IT cs.LG
Perturbation Sensitivity of Maximum-Likelihood Pairwise Ranking in Computational Decision Systems
研究基于最大似然估计的成对排名系统对策略性数据扰动的脆弱性,提出自适应子集选择攻击(ASSA)方法,实验表明少量扰动即可显著改变全局排名。
2026-10-08 cs.AI cs.GT cs.LG
Fairness in Recommendation Ranking through Pairwise Comparisons
Google(谷歌)
推荐系统是工业中机器学习最普遍的应用之一,许多服务使用它们来将用户与产品或信息相匹配。因此,重要的是要问:什么是可能的公平风险,我们如何量化它们,以及我们应该如何解决它们?在本文中,我们提供了一套新的度量标准,用于评估算法公平性的关注推荐系统。特别是,我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上,我们提供了一个新的正则化器,以鼓励在模型训练期间改进此指标,从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统,并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
Active Ranking from Pairwise Comparisons and when Parametric Assumptions Don't Help
UC Berkeley(加州大学伯克利分校)
我们认为顺序或主动排名的一组n个项目的基础上嘈杂的成对比较。根据给定项目击败随机选择的项目的概率对项目进行排名,排名是指根据项目的得分将项目划分为预先指定大小的集合。这种排序的概念包括作为特殊情况的前k项的识别和项的总排序。我们首先分析一个顺序排序算法,该算法计算赢得比较的次数,并使用这些计数来决定是否停止,或比较另一对项目,根据收集到的数据指定的置信区间选择。我们证明,该算法使用多次比较成功地恢复了排名,这些比较在对数因子下是最佳的。这种保证不需要潜在的成对概率矩阵的任何结构属性,不像过去基于参数模型(如Thurstone或Bradley-Terry-Luce模型)的成对排序的重要工作。这一直是一个长期的开放问题,是否强加这些参数的假设允许改进的排名算法。对于随机比较模型,其中成对概率有界远离零,我们的第二个贡献是通过证明参数模型的下界来解决这个问题。这表明,也许令人惊讶的是,这些流行的参数建模选择提供了最多的对数增益随机比较。
2016-09-23 cs.AI cs.IT cs.LG
A general unified framework for interval pairwise comparison matrices
University of Trento(特伦托大学)
区间成对比较矩阵已被广泛用于解释决策者偏好的不确定性陈述。在文献中已经提出了几种方法,如乘法和模糊区间矩阵。本文基于阿贝尔线性序群,给出了区间两两比较矩阵的一般统一方法。在这个框架下,我们推广了一些一致性条件提供的乘法和/或模糊区间两比较矩阵,并提供它们之间的包含关系。然后,我们提供了一个概念的间隔之间的距离,连同一个概念的平均定义在真正的连续阿贝尔线性有序群,使我们能够提供一个一致性指数和不确定性指数。这样,借助于阿贝尔线性序群之间的同构,我们就可以在唯一的笛卡尔坐标系上比较不同类型的区间成对比较矩阵(如乘性、加性和模糊性)的不一致性和不确定性.
2017-11-26 cs.AI
Evaluating Artificial Systems for Pairwise Ranking Tasks Sensitive to Individual Differences
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究科);RIKEN Center for AIP(理化学研究所人工智能研究中心)
由于深度学习的进步,人工系统现在在几个模式识别任务中与人类竞争,例如对象类别的视觉识别。然而,这只是正确答案独立于人类感知存在的任务的情况。还有另一种类型的任务,预测的是人类的感知本身,其中通常存在个体差异。然后,不再有单一的“正确”答案来预测,这使得评估人工系统变得困难。针对对个体差异敏感的两两排序任务,提出了一种评价方法。给定由人工系统生成的多个项目对的排名结果,我们的方法量化了人类生成相同排名结果的概率,并判断它是否与人类生成的结果区分开来。我们引入了人类排序行为的概率模型,并提出了一种有效的计算方法的判断。为了从小样本中准确地估计模型参数,我们提出了一种方法,该方法使用注释者给出的置信度得分来对每个项目对进行排名。以一个根据物体的材料属性对图像对进行排序的任务为例,我们演示了所提出的方法是如何工作的。
2019-05-30 cs.AI cs.CV cs.LG
Dodgersort: Uncertainty-Aware VLM-Guided Human-in-the-Loop Pairwise Ranking
Hanyang University(翰阳大学);Hankuk University of Foreign Studies(韩国民法大学)
Dodgersort通过CLIP基于的分层预排序、神经排名头和概率集成方法,减少人工比较并提升排序可靠性,在医学影像、历史 dating 和美学任务中实现11-16%的标注减少。
2026-03-21 cs.AI cs.CV cs.HC
Ranking Infrared-Visible Fusion the Way Humans Do: A Learned Pairwise Preference Measure
针对红外-可见光图像融合缺乏理想参考、成对比较成本高的问题,提出LPIFM模型,利用新偏好语料库训练,可准确复现人类成对判断,性能优于传统度量,还公开了相关数据集与代码。
2026-09-17 cs.AI cs.CV
Prediction-Powered Ranking of Large Language Models
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对人类与模型偏好不匹配给大语言模型排序带来的不确定性问题,本研究提出统计框架,结合少量人类与大量模型两两比较数据生成排序位置集合并保证覆盖真实排序的概率,实证验证了框架有效性且发现仅用模型比较构建的集合常与人类偏好分布不一致。
2024-12-04 cs.AI cs.CL cs.CY
Simple, Robust and Optimal Ranking from Pairwise Comparisons
University of California, Berkeley(加州大学伯克利分校)
我们以n个项目的成对比较的形式来考虑数据,目标是精确地识别k < n的某个值的前k个项目,或者恢复所有项目的排名。我们分析了Copeland计数算法,该算法按成对比较的次数对项目进行排序,并表明它有三个吸引人的特点:(a)与以前的工作相比,它的计算效率导致计算时间的几个数量级的加速;(b)它是稳健的,因为理论保证不对成对比较概率的基础矩阵施加任何条件,与仅适用于BTL参数模型的一些先前工作相反;以及(c)它是常数因子的最优方法,这意味着它实现了用于恢复顶部k子集的信息理论限制。我们扩展我们的结果,以获得清晰的保证近似恢复下的汉明失真度量,更一般地说,任何任意的误差要求,满足一个简单而自然的单调性条件。
2016-04-27 cs.AI cs.IT cs.LG
Debiased Explainable Pairwise Ranking from Implicit Feedback
University of Louisville(路易斯维尔大学)
最近的工作在推荐系统中强调了公平的重要性,特别是在偏见和透明度,除了预测准确性。在本文中,我们专注于最先进的成对排名模型,贝叶斯个性化排名(BPR),它以前被发现在预测准确性方面优于逐点模型,同时也能够处理隐式反馈。具体来说,我们解决了BPR的两个局限性:(1)BPR是一个黑箱模型,不解释其输出,从而限制了用户对建议的信任,以及分析师审查模型输出的能力;(2)由于数据是非随机缺失(MNAR),BPR容易受到暴露偏差的影响。这种曝光偏差通常会转化为对最不受欢迎的项目的不公平,因为它们有被推荐系统曝光不足的风险。在这项工作中,我们首先提出了一种新的可解释的损失函数和相应的矩阵分解为基础的模型,称为可解释的贝叶斯个性化排名(EBPR),生成建议以及基于项目的解释。然后,我们从理论上量化额外的曝光偏差所造成的可解释性,并使用它作为基础,提出一个无偏估计的理想EBPR损失。其结果是一个排名模型,恰当地捕捉了去偏见和可解释的用户偏好。最后,我们对三个真实世界的数据集进行了实证研究,证明了我们提出的模型的优点。
2021-07-30 cs.AI cs.IR cs.LG
LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Southern California(南加利福尼亚大学);Zhejiang University(浙江大学)
本文提出LLM-Blender集成框架,通过PairRanker成对排序和GenFuser生成式融合模块,利用多个开源LLMs的多样化优势,在MixInstruct基准上显著优于单个LLMs和基线方法。
2023-06-30 cs.AI cs.CL cs.LG
Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals
本文分析了无训练标记缩减方法在高压缩下的崩溃原因,提出两种诊断工具,揭示了层间缩减的固有误差放大效应及对成对相似性信号的依赖,通过CATIS验证,实现高压缩下的高精度保持。
2026-04-17 cs.AI cs.CV
Poisoning Attack against Estimating from Pairwise Comparisons
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Jiangxi Normal University(江西师范大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
随着成对排名被广泛用于选举、体育比赛、推荐等,攻击者有很强的动机和动机来操纵排名列表。他们可以在训练数据中注入恶意的比较来欺骗受害者。这种技术在回归和分类任务中被称为中毒攻击。在本文中,据我们所知,我们发起了第一个系统的调查数据投毒攻击对成对排名算法,它可以被形式化为动态和静态之间的游戏排名和攻击者,可以建模为某些类型的整数规划问题。为了克服整数规划问题的计算障碍,我们将其转化为分布式鲁棒优化(DRO)问题。基于这样的DRO公式,我们提出了两个有效的中毒攻击算法,并建立相关的理论保证。一系列的玩具模拟和几个真实的数据实验证明了建议的中毒攻击策略的有效性。这些实验结果表明,所提出的方法可以显着降低排名的性能,在这个意义上,真实的排名列表和聚合结果之间的相关性可以显着降低。
2021-07-05 cs.AI cs.CR cs.GT
Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
提出PARS调度器,通过成对排序预测任务响应长度,近似最短作业优先调度,减少队头阻塞,在vLLM上实现高达15.7倍延迟降低。
2026-06-29 cs.AI cs.DC cs.LG
Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety
EPFL(洛桑联邦理工学院);LiGHT Laboratory(LiGHT实验室)
研究表明临床医生成对偏好并非LLM临床安全的可靠替代指标,其排名靠前的模型仍存在大量临床安全失败,提出结合偏好与安全反馈的临床调整排名方法,支持分离偏好与安全的评估实践。
2026-09-29 cs.AI cs.CL cs.LG
TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them
Peking University(北京大学);National University of Singapore(新加坡国立大学);Institute of Science Tokyo(东京科学研究院);Nanjing University(南京大学);Westlake University(西湖大学);Southeast University(东南大学)
针对LLM作为评判者时的分数比较和成对传递性不一致问题,提出概率框架TrustJudge,通过分布敏感评分和似然感知聚合缓解不一致,显著降低不一致率并提升评估准确性。
2025-09-26 cs.AI cs.CL
Geometric mean-based pairwise comparison method with the reference values -- statistical approach
AGH University of Krakow, WEAiIB(克拉科夫AGH大学,WEAiIB);AGH University of Krakow, WMS(克拉科夫AGH大学,WMS)
本文从统计视角出发,利用参考值和几何平均提出成对比较方法,可捕捉不一致现象与偏好距离,还定义了衡量权重向量质量的指标,为涉及专家的决策提供新方法和指标。
2026-08-04 cs.AI math.ST stat.ME