Assessing Viewpoint Diversity in Search Results Using Ranking Fairness Metrics
页面在搜索结果中的排名方式影响着搜索引擎的用户是否会接触到更同质的观点，或者更确切地说是更多样化的观点。然而，这种观点的多样性并不是微不足道的评估。在本文中，我们使用现有的和新的排名公平性指标来评估搜索结果排名的观点多样性。我们进行了一个受控的模拟研究，显示如何排名公平性指标可以用于观点多样性，他们的结果应该如何解释，以及哪个指标是最合适的情况。本文为未来研究衡量和评估真实搜索结果排名中的观点多样性奠定了重要的基础工作。
2021-07-05 cs.IR
Off-Policy Evaluation of Ranking Policies under Diverse User Behavior
Hanjuku-Kaso Co., Ltd.（半熟仮想株式会社）；Cornell University（康奈尔大学）；Yale University（耶鲁大学）；Yahoo Japan Corporation（雅虎日本公司）
针对排序策略离线评估中单一用户行为假设导致偏差和方差过大的问题，提出自适应IPS（AIPS）方法，支持多样用户行为，在保证无偏性的同时实现最小方差，并开发数据驱动过程优化MSE，显著提升评估准确性。
2023-06-26 cs.IR cs.LG stat.ML
OneShot: Index-in-Ranking with Neural Scoring for Large-Scale Retrieval
Meta Platforms, Inc.（元平台公司）
本研究针对推荐系统检索阶段排序目标与索引结构不一致的问题，提出OneShot框架，将索引学习与排序目标联合，突破点积瓶颈，部署于Instagram短视频推荐系统，提升了召回率与效率。
2026-08-03 cs.IR cs.LG
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre（语言技术研究中心）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
通常，提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题，因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中，我们解决了多答案检索，需要检索的段落，可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法，使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落，都是查询相关的和不同的。结果表明，我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
Equity vs. Equality: Optimizing Ranking Fairness for Tailored Provider Needs
Tsinghua University（清华大学）；Alibaba（阿里巴巴）
本文提出EquityRank算法，通过建模提供者对曝光和销售等关键结果的偏好，优化排序公平性，以满足不同提供者的需求。
2026-01-31 cs.IR
MCRanker: Generating Diverse Criteria On-the-Fly to Improve Point-wise LLM Rankers
Westlake University（西湖大学）；South China University of Technology（华南理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对点式LLM排序器缺乏标准化指导与全面考量的问题，提出MCRanker动态生成多视角准则以提升排序性能，在BEIR基准八个数据集上验证了显著效果。
2025-03-25 cs.AI cs.IR
Online Learning of Optimally Diverse Rankings
KTH Royal Institute of Technology（瑞典皇家理工学院）；Spotify AB（Spotify 公司）
搜索引擎通过列出相关项目（例如文档、歌曲、产品、网页等）来回答用户的查询。这些引擎依赖于学习对项目进行排名的算法，以便呈现一个有序列表，最大化它包含相关项目的概率。学习排名算法设计中的主要挑战来自于这样一个事实，即查询对于不同的用户通常具有不同的含义。在没有关于查询的任何上下文信息的情况下，通常必须遵守{ \it多样性}原则，即，返回一个包含查询的各种可能主题或含义的列表。为了形式化这个学习排名问题，我们提出了一个自然的模型，其中（i）项目被分类为主题，（ii）用户发现项目相关，只有当他们匹配的主题，他们的查询，和（iii）引擎是不知道的主题到达查询，也不知道的频率，查询相关的各种主题到达，也不知道的主题相关的点击率的项目。对于这个问题，我们设计了LDR（学习多样性排名），一个算法，有效地学习最佳列表的基础上用户的反馈。我们发现，$T$查询后，遗憾的LDR规模为$O((N-L)\log(T))$其中$N$是所有项目的数量。我们进一步确定，这种缩放无法改进，即，LDR是阶最优的。最后，使用人工和真实世界的数据的数值实验，我们说明了LDR的优越性相比，现有的学习排名算法。
2021-09-13 cs.IR cs.LG stat.ML
Diverse Group Formation Based on Multiple Demographic Features
小组形成的目标是建立一个团队来完成一项特定的任务。算法被用来提高这样形成的团队的有效性和组选择过程的效率。然而，人们担心，由于算法本身或训练数据的原因，团队形成算法可能会对少数群体产生偏见。因此，必须建立公平的团队组建系统，将人口统计信息纳入团队建设过程。虽然已经有大量的工作，为专家推荐和/或团队形成的个人专业知识建模，有相对较少的人口统计建模和人口统计纳入组形成过程中的工作。提出了一种基于多维人口统计特征的专家人口统计特征表示方法。此外，我们引入了两种多样性排名算法，通过考虑人口统计特征以及最低所需技能来形成一个组。与考虑一个布尔人口统计特征的许多排名算法（例如，性别或种族），我们的多样性排名算法同时考虑多个多值人口统计属性。我们评估我们提出的算法使用一个真正的数据集的基础上的成员的计算机科学程序委员会。结果表明，我们的算法形成了一个程序委员会，更多样化的实用程序的损失是可以接受的。
2020-12-03 cs.IR cs.SI
NR4DER: Neural Re-ranking for Diversified Exercise Recommendation
Jinan University（济南大学）；South China Normal University（华南师范大学）；University of Macau（澳门大学）
针对在线学习中习题推荐准确性与多样性不足、难以适应不活跃学生和个性化节奏的问题，提出 NR4DER，通过 mLSTM 过滤、序列增强与神经重排序生成多样化习题推荐。
2025-06-01 cs.AI cs.CY cs.IR
Pretrained Language Model based Web Search Ranking: From Relevance to Satisfaction
本文提出基于PLM的SAT-Ranker框架，通过多字段输入统一建模文档质量、时效性和权威性等满意度维度，离线与在线实验均显示显著收益并已全量部署。
2023-06-02 cs.IR
DeepRank: A New Deep Architecture for Relevance Ranking in Information Retrieval
针对信息检索中的相关性排序问题，提出了一种基于深度学习的相关性排序方法.诸如DSSM和CDSSM的现有深度IR模型直接应用神经网络来生成排名分数，而没有对相关性的明确理解。根据人类判断过程，通过以下三个步骤生成相关性标签：1）检测相关位置，2）确定局部相关性，3）聚合局部相关性以输出相关性标签。在本文中，我们提出了一种新的深度学习架构，即DeepRank，来模拟上述人类判断过程。首先，设计一种检测策略来提取相关上下文。然后，通过利用卷积神经网络（CNN）或二维门控递归单元（2D-GRU）应用测量网络来确定局部相关性。最后，使用具有顺序整合和术语门控机制的聚合网络来产生全局相关性得分。DeepRank很好地捕捉了重要的IR特征，包括精确/语义匹配信号，接近度，查询词重要性和不同的相关性要求。在LETOR基准数据集和大规模点击数据上的实验表明，DeepRank可以显著优于学习排名方法和现有的深度学习方法。
2019-07-22 cs.IR
LRanker: Scaling LLM Ranking to Millions of Candidates with Test-Time Scaling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Monetization AI（Meta变现人工智能）
提出LRanker框架，通过候选聚合编码器和基于图的测试时缩放机制，解决大语言模型在海量候选集排序中受限于上下文长度和高计算成本的问题，在多个场景下实现显著性能提升。
2026-10-28 cs.IR
Optimizing Keyphrase Ranking for Relevance and Diversity Using Submodular Function Optimization (SFO)
Kyung Hee University（庆熙大学）
针对关键短语排序中相关性与多样性难以兼顾的问题，提出基于子模函数优化（SFO）的子模最大化方法，在基准数据集上同时提升两类指标并取得最优执行时间。
2024-10-26 cs.AI cs.IR
Ranking ideas for diversity and quality
当选择想法或试图寻找灵感时，设计师通常必须筛选数百或数千个想法。本文提供了一种算法，排名的设计思想，使排名表同时最大限度地提高质量和多样性的建议设计。要做到这一点，我们首先定义和比较两个多样性措施，使用决定性点过程（DPP）和添加剂子模块功能。我们发现，DPP更适合于以文本形式表示的项目，并且贪心算法使排名多样化，同时具有理论保证和经验性能，否则这是一个NP难问题。为了产生这样的排名，本文贡献了一种新的方式来扩展质量和多样性指标从集合排列的排名列表。这些排名指标开辟了使用多目标优化来描述排序列表中的多样性和质量之间的权衡。我们使用这样的权衡阵线，以帮助设计师选择排名使用无差异曲线。然而，我们还表明，权衡前沿的排名共享一些排名靠前的项目;这意味着审查项目（对于给定的深度，如前10名）从整个多样性到质量的前沿只会导致所考虑的设计数量略有增加。虽然所提出的技术是通用的，足以跨域使用，我们展示了具体的性能选择项目在一个在线设计社区（OpenIDEO），我们的方法减少了审查不同的，高质量的想法所需的时间从大约25小时到90分钟。这使得对群体产生的想法的评估对于单个设计师来说是容易的。我们的代码是公开的，可供进一步研究。
2017-09-07 cs.IR
Enhancing Recommendation Diversity by Re-ranking with Large Language Models
Insight Centre for Data Analytics（数据分析洞察中心）；School of Computer Science & IT（计算机科学与信息技术学院）；University College Cork（科克大学学院）
本文研究利用大语言模型进行推荐多样性重排序，通过零样本提示让 GPT 与 Llama 从候选列表生成多样化排序，实验表明其优于随机方法但暂逊于传统方法。
2024-06-17 cs.IR cs.LG
Diversity in Ranking using Negative Reinforcement
Indian Institute of Science（印度科学研究所）
在本文中，我们考虑的问题的多样性在一个图中的节点的排名。任务是选择图中的前k个节点，它们既是“中心”又是“多样”的。许多基于图的自然语言处理模型，如文本摘要、意见摘要，在生成摘要时都涉及到多样性的概念。我们开发了一种新的方法，其工作在一个迭代的方式基于随机游走，以实现多样性。具体来说，我们使用负强化作为一个主要工具，在个性化PageRank框架中引入多样性。在两个基准数据集上的实验表明，该算法与现有的方法相比具有很强的竞争力。
2012-07-27 cs.AI cs.IR cs.SI
User Fairness, Item Fairness, and Diversity for Rankings in Two-Sided Markets
Cornell University（康奈尔大学）
通过项目的相关性概率来对项目进行排名长期以来一直是传统排名系统的目标。虽然这最大限度地提高了传统的排名标准，但人们越来越认识到，这是一种过度简化的在线平台，不仅服务于多样化的用户群体，而且还服务于项目的生产者。特别是，排名算法应该公平地服务于所有用户群体，而不仅仅是大多数用户群体，而且它们还需要公平地分配项目之间的曝光。这些公平性的考虑可以部分地通过增加排名的多样性来满足，就像最近的几项工作所做的那样。然而，我们在本文中表明，用户公平性，项目公平性和多样性是根本不同的概念。特别是，我们发现，只考虑三个desiderata之一的算法可能无法满足，甚至损害其他两个。为了克服这个缺点，我们提出了第一个排名算法，明确执行所有三个desiderata。该算法将用户公平性和项目公平性作为一个凸优化问题进行优化。从它的解决方案，排名策略可以通过一种新的Birkhoff-von Neumann分解算法，优化多样性。除了理论分析之外，我们还在一个新的基准数据集上实证研究了所提出的排名算法如何有效地控制用户公平性，项目公平性和多样性，以及它们之间的权衡。
2021-09-12 cs.AI cs.IR
Personalized Re-ranking for Improving Diversity in Live Recommender Systems
工业推荐系统的用户通常一次被推荐一个项目列表。理想情况下，这种列表式的解释应该为用户提供多样化和相关的选项。然而，在实践中，列表式推荐被实现为top-N推荐。Top-N推荐从候选项中选择前N个项目进行显示。该列表由排名函数生成，该排名函数从标记数据中学习以优化准确性。然而，top-N推荐可能会导致次优，因为它单独关注每个项目的准确性，而忽略了项目之间的相互影响。因此，我们提出了一个个性化的重新排序模型，以提高实际推荐系统中的推荐列表的多样性。建议的重新排名模型可以很容易地部署为后续组件后，任何现有的排名功能。重排序模型采用个性化的决定点过程（DPP），提高了多样性。DPP已经被应用于一些推荐系统中以提高多样性和用户参与度，但是DPP没有考虑到用户对多样性可能具有个体倾向的事实。为了克服这种限制，我们的重新排名模型提出了一个个性化的DPP模型的准确性和多样性之间的权衡为每个单独的用户。我们在一个大型的工业推荐系统中实现并部署了个性化DPP模型。离线和在线的实验结果表明，我们提出的重新排序模型的效率。
2020-04-21 cs.IR cs.SI
Fairness and Diversity in the Recommendation and Ranking of Participatory Media Content
使得用户之间能够进行一对多通信的在线参与式媒体平台看到大量的用户生成的内容，并且因此面临能够向其用户推荐该内容的子集的问题。我们解决了推荐和排名这些内容的问题，这样关于一个主题的不同观点就可以以公平和多样化的方式曝光。我们建立我们的模型的背景下，基于语音的参与式媒体平台运行在印度中部农村，为低收入和识字率较低的社区，播放音频信息的排名列表中的用户通过电话，并允许他们贡献自己的消息。在本文中，我们描述了我们的模型，并使用来自平台的呼叫日志对其进行评估，以比较我们的模型与目前遵循的手动编辑过程的公平性和多样性性能。我们的模型是通用的，也可以调整和应用于其他参与式媒体平台。
2019-07-16 cs.IR cs.SI
Optimizing Ranking Systems Online as Bandits
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（皇家阿霍德德尔海兹集团）；Microsoft（微软）
排序系统是现代检索和推荐系统的核心部分，其目标是根据用户上下文对候选项进行排序。在线优化排名系统意味着部署的系统可以服务于用户请求，例如，查询，并通过从用户交互中学习来优化排名策略，例如，次点击Bandit是一个通用的在线学习框架，可以用于我们的优化任务。然而，由于排名的独特性，在设计用于排名系统优化的强盗算法方面存在一些挑战。在这篇论文中，我们研究并提出了四个挑战的解决方案，在优化排名系统在线：有效性，安全性，非平稳性和多样化。首先，有效性与算法从交互中学习的速度有关。本文研究了有效的在线排名评估任务，提出了一种有效的在线排名评估算法。其次，部署的算法应该是安全的，这意味着算法只显示用户请求的合理内容。为了解决安全的在线学习排名问题，我们提出了BubbleRank算法。第三，当用户不断改变他们的偏好时，算法应该处理非平稳性。我们制定这个非平稳在线学习排名问题级联非平稳土匪，并提出CascadeDUCB和CascadeSWUCB算法来解决这个问题。最后，排行榜的内容应该是多样的。我们认为结果多样化的任务，并提出了CascadeHybird算法，同时考虑项目的相关性和结果多样化时，从用户交互学习。
2021-10-12 cs.IR cs.LG
D2RLIR : an improved and diversified ranking function in interactive recommendation systems based on deep reinforcement learning
University of Tehran（德黑兰大学）
近年来，基于强化学习的交互式推荐系统由于将推荐过程视为一个动态过程，并根据用户的即时反馈来更新推荐模型，而传统的推荐方法忽略了这一点，因此受到了研究者的关注。现有的工程有两个明显的缺点。首先，低效的排名功能产生Top-N推荐列表。第二，关注推荐准确性，而不关注多样性等其他评价指标。本文提出了一种基于深度强化学习的推荐系统，该系统利用Actor-Critic架构对动态用户与推荐代理的交互进行建模，并最大化期望的长期回报。此外，我们建议利用Spotify的ANNoy算法来找到最相似的项目，以生成演员网络的动作。在此基础上，使用总多样性效果排名算法来生成关于相关性和多样性的推荐。此外，我们应用位置编码来计算表示用户的交互序列，而不使用序列对齐的递归神经网络。MovieLens数据集上的大量实验表明，我们提出的模型能够根据用户的偏好生成一个多样化的，而相关的推荐列表。
2021-10-29 cs.AI cs.IR
FedFlex: Federated Learning for Diverse Netflix Recommendations
Vrije Universiteit Amsterdam Netherlands；Georgia Institute of Technology Mexico；Centrum Wiskunde \& Informatica Netherlands；Georgia Institute of Technology
针对联邦推荐中隐私与多样性的矛盾，提出FedFlex两阶段框架，结合本地矩阵分解微调与MMR重排序，在线实验表明BPR优于SVD，MMR提升排序质量且不损害用户满意度。
2025-10-07 cs.AI cs.DC cs.IR
Linear-PAL: A Lightweight Ranker for Mitigating Shortcut Learning in Personalized, High-Bias Tabular Ranking
Viator, Tripadvisor（猫途鹰Viator）
Linear-PAL通过结构约束和向量化技术，在高偏差情况下提升排序质量并显著降低训练延迟。
2025-12-15 cs.IR cs.LG
Rank4Class: A Ranking Formulation for Multiclass Classification
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
多类分类（MCC）是一个基本的机器学习问题，将每个实例分类到一个预定义的类集中。在深度学习时代，已经花费了大量的努力来开发更强大的神经嵌入模型，以更好地表示用于提高MCC性能的实例。在本文中，我们的目标不是提出新的神经模型，例如表示学习，而是通过排名的镜头，用一种新的公式来提高MCC的性能。特别是，通过查看MCC对实例的类进行排名，我们首先认为排名指标，如归一化贴现累积增益，可以比常用的Top- $K$指标提供更多信息。我们进一步证明，占主导地位的神经MCC配方可以转化为神经排名框架。基于这样的推广，我们表明，这是直观的，利用先进的技术，从学习排序文献，以提高MCC的性能开箱即用。在文本和图像分类任务上，使用不同的数据集和骨干神经模型进行了大量的实证研究，结果表明了我们提出的框架的价值。
2022-12-21 cs.AI cs.IR cs.LG
Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models
McGill University \& MILA Montreal Canada；McGill University \& MILA
本文提出RouteHead方法，通过学习轻量级路由器选择最优头部集合以提升注意力重排序性能，实验表明优于现有基线。
2026-04-27 cs.AI cs.CL cs.IR
