Prediction-Powered Ranking of Large Language Models
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对人类与模型偏好不匹配给大语言模型排序带来的不确定性问题,本研究提出统计框架,结合少量人类与大量模型两两比较数据生成排序位置集合并保证覆盖真实排序的概率,实证验证了框架有效性且发现仅用模型比较构建的集合常与人类偏好分布不一致。
2024-12-04 cs.AI cs.CL cs.CY
LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Southern California(南加利福尼亚大学);Zhejiang University(浙江大学)
本文提出LLM-Blender集成框架,通过PairRanker成对排序和GenFuser生成式融合模块,利用多个开源LLMs的多样化优势,在MixInstruct基准上显著优于单个LLMs和基线方法。
2023-06-30 cs.AI cs.CL cs.LG
Prompt-Dependent Ranking of Large Language Models with Uncertainty Quantification
Department of Statistics and Data Science, UCLA(统计与数据科学系,加州大学洛杉矶分校);Department of Statistics, University of Michigan(统计系,密歇根大学);Department of Statistics and Data Science, and of Biostatistics, UCLA(统计与数据科学系及生物统计学系,加州大学洛杉矶分校)
本文提出了一种基于提示依赖的排名推断框架,通过统计有效的不确定性保证,改进大语言模型的排名决策。
2026-02-11 cs.CL cs.LG
Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety
EPFL(洛桑联邦理工学院);LiGHT Laboratory(LiGHT实验室)
研究表明临床医生成对偏好并非LLM临床安全的可靠替代指标,其排名靠前的模型仍存在大量临床安全失败,提出结合偏好与安全反馈的临床调整排名方法,支持分离偏好与安全的评估实践。
2026-09-29 cs.AI cs.CL cs.LG
CLAA: Cross-Layer Attention Aggregation for Accelerating LLM Prefill
Franklin and Marshall College(弗兰克林与马歇尔学院);Meta Reality Labs(Meta现实实验室)
CLAA通过跨层聚合注意力分数,提升大语言模型预填阶段的推理速度,将TTFT降低至39%。
2026-02-17 cs.CL cs.LG
SCARV: Structure-Constrained Aggregation for Stable Sample Ranking in Redundant NLP Datasets
School of Cyber Engineering, Xidian University(西安电子科技大学信息学院)
针对冗余NLP数据集中的稳定样本排序问题,SCARV通过结构感知聚合框架提升全局和局部稳定性,增强排名决策的可重复性。
2026-05-01 cs.AI cs.CL cs.IR
Sparse Pairwise Re-ranking with Pre-trained Transformers
成对重新排序模型预测两个文档中的哪一个与查询更相关,然后根据这些偏好聚合最终排名。这通常比直接预测每个文档的相关性值的逐点重新排名模型更有效。然而,成对模型的高推理开销限制了它们的实际应用:通常,对于要重新排序的一组$k$文档,聚合所有$k^2-k$比较对(不包括自比较)的偏好。我们调查是否可以提高成对重新排序的效率,从所有对抽样。在一项探索性研究中,我们评估了三种抽样方法和五种偏好聚合方法。最佳组合允许在可接受的检索有效性损失下进行数量级更少的比较,而竞争有效性已经实现了约三分之一的比较。
2022-07-10 cs.IR
Harnessing Pairwise Ranking Prompting Through Sample-Efficient Ranking Distillation
本文提出通过成对蒸馏将 PRP 的排序能力迁移到逐点学生模型,并证明仅用 2% 文档对即可达到与全量教师标签相同的性能,从而在蒸馏和推理阶段均大幅降低计算成本。
2025-07-07 cs.IR
From Pairwise to Ranking: Climbing the Ladder to Ideal Collaborative Filtering with Pseudo-Ranking
本文提出伪排序范式(PRP),通过噪声注入机制生成伪排序并结合新的排序损失函数与置信度机制,有效弥合成对近似与理想协同过滤之间的性能差距,在四个数据集上显著优于现有方法。
2024-12-24 cs.IR
A Meta-Evaluation of C/W/L/A Metrics: System Ranking Similarity, System Ranking Consistency and Discriminative Power
本研究评估了 C/W/L/A 离线评估框架中不同聚合方式的统计稳定性,发现期望收益率聚合在一致性和区分能力上表现优异,且用其替换 ERR 的规范聚合可进一步增强区分能力。
2023-08-05 cs.IR
Density-Ratio Based Personalised Ranking from Implicit Feedback
从隐式用户反馈中学习是一项挑战,因为我们只能观察到积极的样本,而无法访问消极的样本。大多数传统方法通过采用负采样的成对排序方法来处理这个问题。然而,成对排序方法在收敛时间上具有严重的缺点,这是由于相对于样本大小的二次增加的计算成本;它是有问题的,特别是对于大规模数据集和复杂模型,如神经网络。相比之下,逐点方法不直接解决排名问题,因此在前K排名任务中不如成对对应物;然而,它通常在收敛时间方面是有利的。本研究的目的是建立一种方法来学习个性化排名的隐式反馈,这调和的逐点方法的训练效率和排名的有效性的配对。其关键思想是以逐点方式估计项目的排名;我们首先重新制定了传统的逐点方法的基础上密度比估计,然后将本质的排名导向的方法(例如,成对的方法)到我们的配方。通过对三个真实数据集的实验,我们证明了我们的方法不仅大大减少了收敛时间(快一到两个数量级),而且还显着提高了排名性能。
2021-01-19 cs.IR
Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems
学习排序自2010年左右引入以来,是一种有效的推荐方式。著名的算法,如贝叶斯个性化排名和协作少即是多过滤,在学术界和工业界都留下了深刻的影响。然而,大多数学习排序方法专注于提高技术准确性指标,如AUC,MRR和NDCG。推荐系统的其他评价指标,如公平性,直到最近几年才在很大程度上被忽视。本文提出了一种新的学习排序算法Pareto Pairwise Ranking。我们的灵感来自贝叶斯个性化排名和幂律分布的想法。我们表明,我们的算法是有竞争力的技术精度指标评估时,与其他算法。更重要的是,在我们的实验部分中,我们证明了Pareto Pairwise Ranking是最公平的算法,与其他9个当代算法相比。
2022-12-06 cs.AI cs.IR cs.LG
From Semantic Retrieval to Pairwise Ranking: Applying Deep Learning in E-commerce Search
我们将深度学习模型引入到全球最大的电子商业平台之一JD.com的产品搜索中最重要的两个阶段。具体来说,我们概述了一个深度学习系统的设计,该系统可以在几毫秒内检索与查询语义相关的项目,以及一个成对的深度重新排名系统,该系统可以学习微妙的用户偏好。与传统的搜索系统相比,本文提出的方法在语义检索和个性化排序方面有了明显的改进。
2021-03-24 cs.AI cs.IR cs.LG
Bipartite Ranking From Multiple Labels: On Loss Versus Label Aggregation
Google Research(谷歌研究)
本文研究多二值标签下的二分排序,形式化比较损失聚合与标签聚合的贝叶斯最优解,证明前者可能导致标签独裁,并通过实验支持标签聚合更可取。
2025-06-09 cs.AI cs.IR cs.LG
Minimum Weighted Feedback Arc Sets for Ranking from Pairwise Comparisons
New Jersey Institute of Technology(新泽西理工学院)
本文提出基于组合算法的MWFAS方法,用于改进大规模排名任务,证明其在效率和准确性上的优势。
2025-12-04 cs.AI cs.DS cs.IR
Consolidating Ranking and Relevance Predictions of Large Language Models through Post-Processing
针对大语言模型排序能力与相关性标签生成能力不匹配的问题,提出一种结合成对偏好与原始标签的后处理方法,有效平衡了标签准确率与排序性能。
2024-04-17 cs.IR
A Mathematical Theory of Ranking
本文提出了一种基于成对比较的排名理论,通过分析成对边际来建立局部影响共享规则,并探讨了非线性评分下的交互曲率定理及其几何结构。
2026-04-09 cs.IR
TSPRank: Bridging Pairwise and Listwise Methods with a Bilinear Travelling Salesman Model
University of Edinburgh(爱丁堡大学);Nvidia Research(英伟达研究院)
针对传统成对排序全局效果差、列表式排序调参复杂提升有限的问题,提出将排序重构为旅行商问题的TSPRank混合方法,可集成到现有骨干模型嵌入中,在多任务多模型上显著优于纯成对和列表式方法。
2025-03-23 cs.AI cs.IR
End-to-End Cross-Modality Retrieval with CCA Projections and Pairwise Ranking Loss
跨模态检索包括检索任务,其中获取的项目与搜索查询的类型不同,例如,检索与给定文本查询相关的图片。跨模态检索的最新方法依赖于学习两种模态的联合嵌入空间,其中使用最近邻搜索检索来自任一模态的项目。在这项工作中,我们引入了一个基于典型相关分析(CCA)的神经网络层,通过分析计算最大化相关性的投影来学习更好的嵌入空间。与以前的方法相比,CCA层(CCAL)允许我们将现有的嵌入空间学习目标(如成对排序损失)与CCA的最佳投影相结合。我们展示了我们的方法在三种不同场景(文本到图像,音频单音乐和zero-shot检索)上进行跨模态检索的有效性,超过了Deep CCA和使用成对排名损失优化的自由学习投影的多视图网络,特别是当训练数据很少时(所有三种方法的代码发布在:https://github.com/CPJKU/cca_layer)。
2018-04-16 cs.IR
Learning to Rank For Push Notifications Using Pairwise Expected Regret
Twitter(推特)
列表排序损失在推荐系统中得到了广泛的研究。然而,新的内容消费模式对排名方法提出了新的挑战。在这项工作中,我们有助于分析学习排序个性化的移动推送通知,并讨论了独特的挑战,这提出了传统的排名问题相比。为了解决这些挑战,我们引入了一种新的排名损失的基础上加权候选人之间的成对损失的预期遗憾误排序对。我们证明了所提出的方法可以优于以前的方法,无论是在模拟环境中,并在一个主要的社会网络的生产实验。
2022-01-19 cs.IR cs.LG
Fairness in Recommendation Ranking through Pairwise Comparisons
Google(谷歌)
推荐系统是工业中机器学习最普遍的应用之一,许多服务使用它们来将用户与产品或信息相匹配。因此,重要的是要问:什么是可能的公平风险,我们如何量化它们,以及我们应该如何解决它们?在本文中,我们提供了一套新的度量标准,用于评估算法公平性的关注推荐系统。特别是,我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上,我们提供了一个新的正则化器,以鼓励在模型训练期间改进此指标,从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统,并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
Weight Set Decomposition for Weighted Rank Aggregation: An interpretable and visual decision support tool
Rice University(莱斯大学);College of Charleston(查尔斯顿学院);xCures, Inc.(xCures公司)
解释或聚合多个排名的问题在许多现实世界的应用程序中很常见。也许最简单和最常见的方法是加权排名聚合,其中(凸)权重被应用于每个输入排名,然后进行排序。本文介绍了一种新的工具,用于可视化和显示加权排名聚合方法的排名信息。传统上,排名聚合的目的是总结来自输入排名的信息,并提供一个最终排名,希望代表比任何一个输入排名更准确或更真实的结果。虽然这种综合排名对许多应用程序是有用的,而且显然一直是有用的,但它也掩盖了信息。在本文中,我们展示了丰富的信息,可用于加权秩聚合问题,由于其结构。我们将权集分解应用到凸乘子集,研究有助于理解这种分解的性质,并可视化无差异区域。这种方法揭示了信息-否则被聚合排名折叠-成为一个有用的,可解释的和直观的决策支持工具。包括多个说明性的例子,以及启发式和精确算法计算的权重集分解。
2022-05-31 cs.AI cs.IR cs.LG
Representation Learning and Pairwise Ranking for Implicit Feedback in Recommendation Systems
Univ. Grenoble Alpes/CNRS(格勒诺布尔阿尔卑斯大学/法国国家科学研究中心);Center for Energy Systems, Skolkovo Institute of Science(斯科尔科沃科技学院能源系统中心);T-4 and CNLS, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室T-4与CNLS);Center for Energy Systems, Skolkovo Institute of Science and Technology(斯科尔科沃科技学院能源系统中心)
在本文中,我们提出了一种新的排名框架,协同过滤的总体目标是学习用户的偏好,通过最大限度地减少成对的排名损失。我们表明,最小化问题涉及到相关的随机变量,并提供了一个理论分析,证明了在最坏的情况下,所有用户选择的积极和消极的项目的最小数量的经验风险最小化的一致性。我们进一步推导出一个神经网络模型,共同学习一个新的表示的用户和项目在一个嵌入式空间,以及用户的偏好关系对项目。的学习目标是基于三种情况下的排名损失,控制的能力的模型,以保持从用户的喜好,以及,在学习的嵌入式空间中定义的点积的能力,以产生的排序引起的项目的排序。所提出的模型本质上适合于隐式反馈,并且只涉及很少的参数估计。通过对隐式数据的几个真实世界的基准测试进行广泛的实验,我们显示了与单独学习相比,同时学习偏好和嵌入的兴趣。我们还表明,我们的方法是非常有竞争力的最好的国家的最先进的协同过滤技术提出的隐式反馈。
2018-07-12 cs.CL cs.IR stat.ML
Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval
Xi’an Jiaotong University(西安交通大学);University of Virginia(弗吉尼亚大学)
基于深度卷积特征的图像检索在流行的基准测试中表现出了最先进的性能。在本文中,我们提出了一个统一的解决方案,通过模拟热扩散的动态来解决深度卷积特征聚合和图像重新排序。图像检索中的一个显著问题是重复或\emph{bursty}特征倾向于支配最终图像表示,导致表示的可区分性较低。我们表明,通过将每个深度特征视为热源,我们的无监督聚合方法能够避免\emph{bursty}特征的过度表示。我们还提供了一个实用的解决方案,建议的聚合方法,并进一步显示我们的方法在实验评估的效率。受上述深度特征聚合方法的启发,我们还提出了一种方法,通过将查询视为热源来对给定查询图像的多个排名靠前的图像进行重新排名。最后,我们在常见的公共基准上使用预先训练和微调的深度网络对所提出的方法进行了广泛的评估,并显示出与以前的工作相比具有更好的性能。
2018-10-09 cs.CV cs.IR
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington(华盛顿大学)
我们以几种方式扩展了最近引入的Lovasz-Bregman(LB)分歧理论(Iyer & Bilmes,2012)。我们表明,它们代表了一个“分数”和“排序”之间的失真,从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量,实际上有特殊情况下的形式非常相似的肯德尔- $τ$度量。我们还展示了如何LB分歧subsidians一些常用的排名措施,在信息检索,如NDCG和AUC。然而,与传统的基于置换的度量不同,LB发散自然地捕获排序中的“置信度”的概念,从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式,并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序”问题的条件排名模型。
2013-08-24 cs.IR cs.LG stat.ML
A Simple Text Mining Approach for Ranking Pairwise Associations in Biomedical Applications
我们提出了一个简单的文本挖掘方法,很容易实现,需要最少的数据汇集和准备,并且很容易使用的建议排名之间的关联列表的目标条款和一个关键短语。我们称这种方法为KinderMiner,并将其应用于两个生物医学应用程序。第一个应用是识别用于细胞重编程的相关转录因子,第二个是识别用于药物重新定位研究的潜在药物。我们将我们的算法的结果与现有数据和最先进的算法进行比较,证明了这两个应用领域的令人信服的结果。虽然我们在这里应用的算法用于生物医学应用,我们认为,该方法是推广到任何可用的语料库足够大。
2019-06-12 cs.IR q-bio.QM
Stochastic Rank Aggregation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文讨论了排名聚合问题,其目的是在多个排名输入之间找到一个共识排名。传统的秩聚集方法是确定性的,并且根据秩信息是显式地还是隐式地被利用而被分为显式方法和隐式方法。令人惊讶的是,在真实数据集上的实验结果表明,显式秩聚合方法的效果不如隐式方法,尽管秩信息对任务至关重要。我们的分析表明,主要原因可能是不完整的排名输入的不可靠的排名信息。为了解决这个问题,我们建议将不确定性纳入秩聚合,并在无监督和监督的情况下解决这个问题。我们称这种新的框架为{随机秩聚合}(简称St.Agg)。具体来说,我们引入了一个先验分布的排名,并将传统的显式方法的排名功能或目标,他们的期望在这个分布。我们在基准数据集上的实验表明,所提出的St.Agg在无监督和有监督的情况下都优于基线。
2013-09-26 cs.IR cs.LG stat.ML
Notes on discrepancy in the pairwise comparisons method
当需要确定不同概念(备选方案)之间的相对顺序时,成对比较方法是一种方便的工具。该方法的一个流行的实现是基于解决成对比较矩阵的特征值问题。在这种情况下,采用成对比较矩阵的主特征向量的排序结果,而特征值用于确定不一致性指数。大量的研究已经致力于基于特征值的方法的临界分析。其中之一就是工作(Bana e Costa and Vansnick,2008)。在他们的工作中,作者定义了顺序保持(COP)的条件,并表明,即使是一个足够一致的成对比较矩阵,这个条件也不能满足。目前的工作为确定何时达到缔约方会议确定了更精确的标准。为了制定标准,使用差异因子来描述对排名过程的输入与排名结果有多远。
2014-06-20 cs.DM cs.IR
Cross Pairwise Ranking for Unbiased Item Recommendation
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
大多数推荐系统在观察到的交互数据上优化模型,这受到先前曝光机制的影响,并表现出许多偏差,如流行度偏差。损失函数,如最常用的逐点二进制交叉熵和成对贝叶斯个性化排名,是不是设计来考虑观察数据中的偏差。因此,在损失上优化的模型将继承数据偏差,甚至更糟,放大偏差。例如,一些受欢迎的项目占用了越来越多的曝光机会,严重损害了利基项目的推荐质量-被称为臭名昭著的马修效应。在这项工作中,我们开发了一种新的学习范式,称为交叉配对排名(CPR),实现无偏见的建议,而不知道曝光机制。与反向倾向评分(IPS)不同,我们改变了样本的损失项-我们创新地对多个观察到的相互作用进行一次采样,并将损失作为其预测的组合。我们从理论上证明了这种方法抵消了用户/项目倾向对学习的影响,消除了由暴露机制引起的数据偏差的影响。与IPS相似,我们提出的CPR确保了每个训练实例的无偏学习,而无需设置倾向分数。实验结果表明,CPR优于国家的最先进的去偏的解决方案,在模型的泛化和训练效率。这些代码可在www.example.com上获得。
2022-04-26 cs.IR cs.LG
Debiased Explainable Pairwise Ranking from Implicit Feedback
University of Louisville(路易斯维尔大学)
最近的工作在推荐系统中强调了公平的重要性,特别是在偏见和透明度,除了预测准确性。在本文中,我们专注于最先进的成对排名模型,贝叶斯个性化排名(BPR),它以前被发现在预测准确性方面优于逐点模型,同时也能够处理隐式反馈。具体来说,我们解决了BPR的两个局限性:(1)BPR是一个黑箱模型,不解释其输出,从而限制了用户对建议的信任,以及分析师审查模型输出的能力;(2)由于数据是非随机缺失(MNAR),BPR容易受到暴露偏差的影响。这种曝光偏差通常会转化为对最不受欢迎的项目的不公平,因为它们有被推荐系统曝光不足的风险。在这项工作中,我们首先提出了一种新的可解释的损失函数和相应的矩阵分解为基础的模型,称为可解释的贝叶斯个性化排名(EBPR),生成建议以及基于项目的解释。然后,我们从理论上量化额外的曝光偏差所造成的可解释性,并使用它作为基础,提出一个无偏估计的理想EBPR损失。其结果是一个排名模型,恰当地捕捉了去偏见和可解释的用户偏好。最后,我们对三个真实世界的数据集进行了实证研究,证明了我们提出的模型的优点。
2021-07-30 cs.AI cs.IR cs.LG
Pairwise Ranking Loss for Multi-Task Learning in Recommender Systems
针对多任务学习中未发生转化的CTR任务噪声更高的问题,提出成对排序损失(PWiseR)利用转化曝光标签指导模型,在多个公开及工业数据集上AUC指标优于BCE损失。
2024-06-05 cs.IR
Scalable Personalised Item Ranking through Parametric Density Estimation
CyberAgent, Inc.(赛博特工公司);Waseda University(早稻田大学)
从内隐反馈中学习是具有挑战性的,因为一类问题的困难性质:我们只能观察到积极的例子。大多数传统的方法使用成对排序方法和负采样器来处理一类问题。然而,这种方法有两个主要缺点,特别是在大规模应用中;(1)由于二次计算成本,成对方法效率非常低;(2)由于训练额外的模型,即使是最近的基于模型的采样器(例如IRGAN)也无法实现实际效率。在本文中,我们提出了一种学习排名的方法,它实现了收敛速度相媲美的逐点对应,同时执行类似的成对对应的排名有效性。我们的方法估计的概率密度的积极项目为每个用户在一个丰富的类的分布,即。\emph{exponential family}。在我们的公式中,我们推导出一个损失函数和适当的负抽样分布的基础上最大似然估计。我们还开发了一个实用的技术风险近似和正规化计划。然后,我们讨论了我们的单模型方法是等价的一个IRGAN变种在一定的条件下。通过在真实数据集上的实验,我们的方法在有效性和效率方面优于逐点和逐对的方法。
2021-05-11 cs.IR cs.LG
PILE: Pairwise Iterative Logits Ensemble for Multi-Teacher Labeled Distillation
预训练的语言模型已经成为排名系统的重要组成部分,并取得了令人瞩目的效果。为了在保持高效计算的同时保持高性能,知识蒸馏被广泛使用。本文研究了排序模型知识蒸馏中的两个关键问题:1)如何集成多教师的知识; 2)如何利用数据的标签信息进行蒸馏。我们提出了一个统一的算法,称为成对迭代Logits枚举(PILE),同时解决这两个问题。PILE集成多教师logits监督的标签信息,在迭代的方式,并取得了竞争力的性能在离线和在线实验。该方法已被部署在一个现实世界的商业搜索系统。
2022-11-11 cs.IR
Multiple graph regularized protein domain ranking
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Qatar Computing Research Institute(卡塔尔计算研究所)
背景蛋白质结构域排序是结构生物学中的一项基本任务。大多数蛋白质结构域排序方法依赖于蛋白质结构域的成对比较,而忽略了蛋白质结构域数据库的全局流形结构。最近,已经提出了利用由成对相似性定义的图的全局结构的图正则化排名。然而,现有的图正则化排序方法对图模型和参数的选择非常敏感,这对于大多数蛋白质结构域排序方法来说仍然是一个难题。结果针对这一问题,提出了多图正则化排序算法MultiG- Rank. MultiG-Rank不是使用单个图来正则化排名分数,而是通过组合多个初始图进行正则化来近似蛋白质结构域分布的内在流形。图的权重学习与排名分数联合和自动,交替最小化的目标函数的迭代算法。在ASTRAL SCOP蛋白质结构域数据库的一个子集上的实验结果表明,MultiG-Rank比单图正则化排序方法和基于成对相似性的排序方法具有更好的排序性能。结论将多个图结合起来可以有效解决图正则化蛋白质结构域排序中的图模型和参数选择问题。这方面的推广引入了一个新的前沿应用多个图形解决蛋白质结构域排名的应用。
2013-04-21 cs.CE cs.IR cs.LG
Position Bias Undermines Preference Consistency in Listwise LLM-Based Reranking
RMIT University(皇家墨尔本理工大学)
本研究揭示基于LLM的列表式重排序存在位置偏差,引入多维度评估框架验证其会破坏偏好一致性,且均衡位置曝光无法修复该问题。
2026-08-05 cs.IR
Quality Enhancement by Weighted Rank Aggregation of Crowd Opinion
注释者的专业知识在基于众包的意见聚合模型中发挥着重要作用。在这样的框架中,注释器的准确性和偏差偶尔被视为重要特征,并基于它们分配注释器的优先级。但是,不是依赖于单个特征,而是可以考虑多个特征,并且可以产生单独的排名来正确判断注释者。最后,可以完成具有完美权重的那些排名的聚合,目的是产生更好的地面实况预测。在这里,我们提出了一种新的加权秩聚合方法,其相对于其他现有方法的有效性在人工数据集上显示。通过将其应用于Amazon Mechanical Turk(AMT)数据集,还显示了加权排名聚合增强质量预测的有效性。
2017-08-31 cs.HC cs.IR
Addressing Class-Imbalance Problem in Personalized Ranking
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Brandeis University(布兰迪斯大学);Sun Yat-Sen University(中山大学);Yahoo Research(雅虎研究院);University of Notre Dame(圣母大学)
成对排序模型已被广泛用于解决推荐问题。其基本思想是通过将项目分为\emph{positive}样本(如果存在用户-项目交互)和\emph{negative}样本(否则)来学习用户偏好项目的排名。由于可观察的相互作用数量有限,成对排序模型面临严重的\emph{class-imbalance}问题。我们的理论分析表明,目前基于采样的方法会导致顶点级别的不平衡问题,这使得学习项目嵌入的范数在一定的训练迭代后趋于无穷大,从而导致梯度消失,影响模型推理结果。因此,我们提出了一种高效的\emph{\underline{Vi}tal \underline{N}egative \underline{S}ampler}(VINS)来缓解成对排名模型的类不平衡问题,特别是对于通过梯度方法优化的深度学习模型。VINS的核心是一个具有拒绝概率的偏差采样器,它倾向于接受具有比给定正项更大程度权重的负候选项。在实际数据集上的测试结果表明,该方法在保持甚至提高top-N项目推荐中排序结果质量的同时,对于由浅入深的排序模型,可以将训练速度提高30%~ 50%.
2020-09-08 cs.IR cs.LG
Pairwise Ranking Losses of Click-Through Rates Prediction for Welfare Maximization in Ad Auctions
The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Google Research(谷歌研究院);Stanford University(斯坦福大学)
本文面向广告拍卖社会福利优化,提出无需eCPM分布假设的加权成对排序损失及教师标签校准方法,并在合成与真实数据上验证其优势。
2023-06-01 cs.GT cs.IR cs.LG