Developing a Ranking Problem Library (RPLIB) from a data-oriented perspective
我们提出了一个改进的库的排名问题称为RPLIB。RPLIB包括以下数据和功能。(1)两个成对数据的真实和人工数据集(即,关于项目对的排序的信息)和特征数据(即,关于要被排名的每个项目的特征的向量)。这些数据集大小不等(例如,从小的$n=10$项目数据集到具有数百个项目的大数据集),应用(例如,从体育到经济数据)和来源(例如,真实的与人工生成的具有特定结构)。(2)RPLIB包含最常见的排序算法的代码,例如线性排序优化方法和Massey方法。(3)RPLIB还允许用户贡献自己的数据、代码和算法。每个RPLIB数据集都有一个相关的.JSON模型卡,其中包含附加信息,例如最佳排名的数量和集合、最佳目标值和相应的数字。
2022-06-21 cs.DB cs.DL cs.IR
A Preference-oriented Diversity Model Based on Mutual-information in Re-ranking for E-commerce Search
本文提出PODM-MI模型,通过变分推断捕捉用户多样性偏好并最大化与候选物品的互信息,在电商搜索重排序中平衡准确性与多样性,实验和部署验证了其有效性。
2024-05-24 cs.AI cs.IR
IteRank: An iterative network-oriented approach to neighbor-based collaborative ranking
基于邻居的协作排名(NCR)技术遵循三个连续的步骤向每个目标用户推荐项目:首先,它们计算用户之间的相似性,然后,它们基于计算出的相似性来估计目标用户的成对偏好的一致性。最后,他们使用估计的成对偏好来推断目标用户的项目的总排名。这种一般的方法面临着一些问题,因为排名数据通常是稀疏的,因为用户通常只比较了几对项目,因此,用户之间的相似性是基于有限的信息计算的,并且不足以准确地推断偏好一致性的真实值,并且可能导致项目的无效排名。本文提出了一个名为IteRank的新框架,它将数据建模为包含用户和成对偏好的二分网络。然后,它同时细化用户的相似性和偏好的一致性使用随机游走方法在这个图结构。它在另一个网络结构中使用第一步中的信息,以同时调整偏好的一致性和项目的排名。使用这种方法,IteRank可以克服由数据稀疏性引起的一些现有问题。实验结果表明,IteRank提高了推荐的性能相比,最先进的NCR技术,使用传统的NCR框架的推荐。
2018-11-04 cs.IR cs.SI
Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking
University of Amsterdam(阿姆斯特丹大学)
根据不同的基本假设和观点,有几种衡量排名公平性的标准。使用REINFORCE算法的PL优化可用于优化排列上的黑盒目标函数。特别是,它可以用于优化公平措施。然而,尽管PL优化对于具有中等数量的重复会话的查询有效,但是对于具有少量重复会话的查询仍有改进的空间。在本文中,我们提出了一种新的方式来表示置换分布,置换图的概念的基础上。类似于PL,我们的分布表示,称为PPG,可用于公平性的黑盒优化。与使用逐点对数作为分布参数的PL不同,在PPG中,成对反转概率与参考排列一起构建分布。因此,参考排列可以被设置为关于目标函数的最佳采样排列,使得PPG适合于确定性和随机性排序两者。我们的实验表明,PPG,而相当于PL的较大的会话重复(即,随机排序),改进了PL以优化具有一个会话的查询的公平性度量(即,确定性排名)。此外,当准确的效用估计可用时,例如,在表格模型中,与来自学习排序模型的较低质量效用估计相比,PPG在公平性优化中的性能显著提高,导致与PL的大的性能差距。最后,成对概率使得可以施加成对约束,例如"项目$d_1$的排名应该总是高于项目$d_2$"。“这样的约束可以用来同时优化公平性度量和控制另一个目标,如排名性能。
2022-04-28 cs.IR cs.LG
Object Oriented Information Computing over WWW
传统的万维网(WWW)搜索引擎主要关注页面级别的相关性排序。但这导致了静态Web页面和在线Web数据库中嵌入的关于真实世界对象的无数结构化信息的丢失。页面级信息检索(IR)在回答面向对象的查询时会导致非常不准确的相关性排名。另一方面,面向对象的信息计算(OOIC)是有前途的,大大降低了系统的复杂性,同时提高了可重用性和可重用性。当今复杂的异构系统最显著的需求是计算系统需要立即适应剧烈变化的条件。OOIC允许通过动态实例化对象来反映应用程序的动态特性。在本文中,主要的挑战OOIC以及它的雏形。本文对PopRank模型进行了分析,并对传统的基于页面排名的信息检索与OOIC进行了比较分析
2011-07-18 cs.IR
Using Query Expansion in Manifold Ranking for Query-Oriented Multi-Document Summarization
Beihang University(北京航空航天大学)
流形排序已成功地应用于面向查询的多文档摘要。它不仅利用了句子之间的关系,而且还利用了给定查询和句子之间的关系。然而,原始查询的信息往往是不够的。为此,本文提出了一种结合流形排序的查询扩展方法来解决这一问题。该方法不仅利用查询词本身的信息和知识库WordNet进行同义词扩展,还利用文档集本身的信息进行多种方式的查询扩展(均值扩展、方差扩展和TextRank扩展)。与以往的查询扩展方法相比,我们的方法结合了多种查询扩展方法,更好地表示查询信息,同时在流形排序上做了有益的尝试。此外,我们使用词的重叠度和词之间的接近度来计算句子之间的相似度。在DUC2006和DUC2007数据集上进行了实验,实验结果表明,所提出的查询扩展方法能够显著提高系统性能,使系统性能达到与现有系统相当的水平.
2021-07-31 cs.AI cs.IR cs.LG
SentAttack: A Sentence-Level Black-Box Adversarial Attack Method for Dense Retrieval Models
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对密集检索模型对抗攻击问题,提出SentAttack句子级黑盒攻击方法。先通过与黑盒系统交互收集训练代理模型数据,再用代理模型聚类相关文档生成对抗候选句,经优化提升攻击效果。
2026-07-07 cs.IR
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval
本文提出了一种将知识图谱引入神经搜索系统的神经元排序模型EDRM。EDRM通过它们的单词和实体注释来表示查询和文档。知识图谱的语义被集成在其实体的分布式表示中,而排名由基于交互的神经网络进行。这两个组件是端到端学习的,使EDRM成为面向实体的搜索和神经信息检索的自然组合。我们在商业搜索日志上的实验证明了EDRM的有效性。我们的分析表明,知识图谱语义显着提高神经排序模型的泛化能力。
2018-06-03 cs.IR
Order-Disorder: Imitation Adversarial Attacks for Black-box Neural Ranking Models
Wuhan University(武汉大学);Alibaba Group(阿里巴巴集团);Indiana University Bloomington(印第安纳大学伯明顿分校);Northeastern University(东北大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出针对黑盒神经排序模型的模仿对抗攻击方法,通过训练排序模仿模型并生成带伪装的对抗触发器,以极少词元实现排序操纵,并验证其对多种SOTA模型的有效性。
2023-04-18 cs.CL cs.CR cs.IR
A Cognitive Distribution and Behavior-Consistent Framework for Black-Box Attacks on Recommender Systems
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);NSFOCUS(启明星辰)
本文提出一种认知分布与行为一致的黑盒攻击框架,通过引入认知分布驱动的提取机制和行为感知的噪声项生成策略,提升推荐系统攻击的成功率和隐蔽性。
2026-02-12 cs.IR
DREQ: Document Re-Ranking Using Entity-based Query Understanding
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学)
本文提出面向实体的稠密重排序模型DREQ,通过强化查询相关实体并削弱无关实体构建查询特定的混合文档表示,在四个基准上超越现有神经与非神经重排序方法。
2024-01-11 cs.AI cs.IR
U-rank: Utility-oriented Learning to Rank with Implicit Feedback
学习排序是许多现实世界信息系统中最重要的任务之一,其中目标是一些特定的效用,例如,点击和收入。然而,我们指出,现有的方法基于概率排序原则不一定达到最高的效用。为此,我们提出了一种新的排名框架,称为U-排名,直接优化的预期效用的排名列表。通过一个位置感知的深度点击率预测模型,我们解决了同时考虑查询级和项目级特征的注意偏差。由于项目特定的注意力偏差模型,预期效用的优化对应于项目位置二分图上的最大权重匹配。我们基于一个有效的Lambdaloss框架,这是支持理论和实证分析的优化这一目标。我们在三个基准数据集和两个专有数据集上对网络搜索和推荐系统进行了广泛的实验,其中展示了U-排名在最先进技术上的性能增益。此外,我们提出的U-排名已部署在一个大规模的商业推荐和生产基线的大幅度改善已被观察到在在线A/B测试。
2020-11-01 cs.IR
Experiments on Generalizability of User-Oriented Fairness in Recommender Systems
University College London(伦敦大学学院);University of Southern California(南加州大学);Shahid Beheshti University(沙希德·贝赫什提大学);University of Amsterdam(阿姆斯特丹大学)
推荐系统的公平性是衡量推荐质量的一个重要方面。公平性推荐系统旨在相似地对待不同的用户组。面向用户的公平性的相关工作突出了基于用户活动水平定义的特定用户组的公平性不可知推荐算法的区别行为。典型的解决方案包括提出应用于基础排名模型之上的以用户为中心的公平性重新排名框架,以减轻其对某个用户组的不公平行为,即,弱势群体。在本文中,我们重新产生了面向用户的公平性研究,并提供了广泛的实验来分析他们提出的方法对各种公平性和推荐方面的依赖性,包括推荐域,基本排名模型的性质和用户分组方法。此外,我们评估由重新排名框架提供的来自两个用户的最终推荐(例如,NDCG,用户公平性)和项目侧(例如,新颖性、项目公平性)度量。我们发现有趣的趋势和权衡模型的性能在不同的评估指标。例如,我们看到,定义的弱势/弱势用户组的公平算法的有效性,以及它如何提高特定的基础排名模型的性能起着至关重要的作用。最后,我们强调了这一领域的一些重要挑战和未来发展方向。我们在https://github.com/rahmanidashti/FairRecSys上公开发布数据、评估管道和训练模型。
2022-05-17 cs.AI cs.IR
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs(汤森路透实验室);University of Montreal(蒙特利尔大学);Huawei Poisson Lab.(华为泊松实验室);Tshinghua Univeristy(清华大学)
除了主题相关性之外,开放域类事实问答的段落排名还需要段落包含答案(可回答性)。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性,但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍,其将包含答案实体的任何段落视为阳性样本。然而,文章中的答案实体不一定与给定的问题相关。为了解决这个问题,我们提出了一种称为\ttt{PReGAN}的方法,用于基于生成对抗神经网络的通道重新排序,该方法除了包含主题相关性外,还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明,\ttt{PReGAN}能够更好地对合适的段落进行排序,从而提高了问答系统的有效性,并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
TRIVEA: Transparent Ranking Interpretation using Visual Explanation of Black-Box Algorithmic Rankers
New Jersey Institute of Technology(新泽西理工学院)
针对黑盒排序机制不透明导致利益相关方难以理解排序差异的问题,提出可视化分析系统TRIVEA,结合可学习的算法排序器与XAI可视化解释,支持非数据科学用户透明推理排序逻辑并验证了其有效性。
2023-08-28 cs.AI cs.HC cs.IR
Entities as Retrieval Signals: A Systematic Study of Coverage, Supervision, and Evaluation in Entity-Oriented Ranking
Missouri University of Science and Technology(密苏里科技大学)
研究探讨了实体导向排序中覆盖、监督与评估的系统性问题,发现实体通道限制导致覆盖与区分度难以兼得,强调需改进评估方法以区分条件与开放世界场景。
2026-07-27 cs.IR
MetaSynth: Multi-Agent Metadata Generation from Implicit Feedback in Black-Box Systems
Walmart Global Tech(沃尔玛全球科技)
MetaSynth通过多智能体检索增强生成框架,利用黑盒系统中的隐式反馈优化元数据生成,提升了CTR和点击率表现。
2025-12-04 cs.IR
Multi-granular Adversarial Attacks against Black-box Neural Ranking Models
ICT, CAS(中国科学院信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
针对传统单粒度对抗排序攻击灵活性不足的问题,提出将多粒度攻击转化为序列决策过程,用双智能体强化学习实现黑盒神经排序模型的多粒度对抗攻击,在有效性和隐蔽性上均优于主流基线。
2024-04-11 cs.CR cs.IR cs.LG
Debias the Black-box: A Fair Ranking Framework via Knowledge Distillation
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学);Shanghai International Studies University(上海外国语大学);Peking University(北京大学)
深度神经网络由于具有许多复杂的非线性单元,可以捕捉查询和文档之间错综复杂的交互历史信息,从而提供正确的搜索推荐。然而,服务提供商在现实环境中经常面临更复杂的障碍,例如部署成本约束和公平性要求。知识蒸馏是将一个经过良好训练的复杂模型(教师)的知识转移到一个简单的模型(学生)中,它的提出可以缓解前一种担忧,但目前最好的蒸馏方法只关注如何使学生模型模仿教师模型的预测。为了更好地促进深度模型的应用,我们提出了一个基于知识蒸馏的公平信息检索框架。该框架可以提高模型的公平性,同时大大减少模型的大小。我们在三个大型数据集上的大量实验表明,我们提出的框架可以将模型大小减少到原始大小的至少1%,同时保持其黑盒状态。在保持较高推荐有效性的同时,公平性提高了15%~46%。
2022-08-24 cs.CY cs.IR cs.LG
CODEC: Complex Document and Entity Collection
CODEC是一个文档和实体排名基准,专注于复杂的研究主题。我们的目标是社会科学研究人员的论文式信息需求,即“英国的开放银行监管如何使挑战者银行受益?". CODEC包括研究人员开发的42个主题和一个新的重点网络语料库,其中包含实体链接的语义注释。该资源包括来自不同自动和交互式手动运行的17,509个文档和实体(每个主题416.9个)的专家判断。手动运行包括387个查询重写,为查询性能预测和自动重写评估提供数据。CODEC包括对最先进系统的分析,包括稠密检索和神经重新排序。结果表明,主题是具有挑战性的,为文档和实体排名的改进预留了空间。查询扩展与实体信息显示显着的收益在文档排序,展示了资源的价值,评估和改进面向实体的搜索。我们还表明,手动查询重构显着提高文档排序和实体排名的性能。总体而言,CODEC提供了具有挑战性的研究课题,以支持以实体为中心的搜索方法的开发和评估。
2022-05-17 cs.IR
One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking
Indian Statistical Institute, Kolkata, India(印度统计研究院,加尔各答,印度)
本文提出了一种通过插入或替换一个语义对齐的词来提升目标文档排名的最小对抗扰动方法,并展示了其在神经文本排序中的有效性。
2026-01-28 cs.CL cs.IR cs.LG
Can Argus Judge Them All? Comparing VLMs Across Domains
Bharati Vidyapeeth(巴哈提大学);Macquarie University(麦考瑞大学);DSEU-Okhla;Vivekananda Institute of Professional Studies(维维kananda专业研究学院);IIIT-Delhi(德里印度理工学院);Center for SDGC(SDGC中心);Stanford University(斯坦福大学)
研究跨领域视觉语言模型,提出ARGUS-EVAL评估框架,通过多种指标刻画模型行为,评估多个模型在下游任务表现,发现能力与可靠性导向排名有显著差异,如Qwen-2.5VL-3B-Instruct能力强,CLIP延迟和内存占用低。
2026-07-14 cs.AI cs.CL cs.IR
Rank4Class: A Ranking Formulation for Multiclass Classification
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究院)
多类分类(MCC)是一个基本的机器学习问题,将每个实例分类到一个预定义的类集中。在深度学习时代,已经花费了大量的努力来开发更强大的神经嵌入模型,以更好地表示用于提高MCC性能的实例。在本文中,我们的目标不是提出新的神经模型,例如表示学习,而是通过排名的镜头,用一种新的公式来提高MCC的性能。特别是,通过查看MCC对实例的类进行排名,我们首先认为排名指标,如归一化贴现累积增益,可以比常用的Top- $K$指标提供更多信息。我们进一步证明,占主导地位的神经MCC配方可以转化为神经排名框架。基于这样的推广,我们表明,这是直观的,利用先进的技术,从学习排序文献,以提高MCC的性能开箱即用。在文本和图像分类任务上,使用不同的数据集和骨干神经模型进行了大量的实证研究,结果表明了我们提出的框架的价值。
2022-12-21 cs.AI cs.IR cs.LG
Interpretable Learning-to-Rank with Generalized Additive Models
Google(谷歌)
学习排序模型的可解释性是一个重要但相对缺乏研究的领域。可解释的排名模型的最新进展主要集中在为现有的黑盒排名模型生成事后解释,而构建具有透明和自我解释结构的内在可解释的排名模型的替代选择仍然未被探索。在某些情况下,开发完全可理解的排名模型是必要的(例如,由于法律或政策限制),其中事后方法不能提供足够准确的解释。在本文中,我们奠定了内在可解释的学习排序通过引入广义加性模型(GAM)的排名任务的基础。广义加性模型(GAM)是本质上可解释的机器学习模型,并且已经在回归和分类任务中被广泛研究。我们研究了如何将GAM扩展到可以同时处理项目级和列表级特征的排名模型中,并提出了一种新的GAM排名公式。为了实例化排名GAM,我们采用神经网络而不是传统的样条或回归树。我们还表明,我们的神经排名GAM可以被提炼成一组简单而紧凑的分段线性函数,这些函数在评估时效率更高,精度损失更小。我们在三个数据集上进行了实验,结果表明,我们提出的神经排名GAM可以实现比其他传统GAM基线更好的性能,同时保持类似的可解释性。
2020-05-14 cs.IR cs.LG stat.ML