Pre-trained Language Model based Ranking in Baidu Search
排名系统作为搜索引擎的核心,在满足用户信息需求方面起着至关重要的作用。最近,从预训练的语言模型(PLM)微调的神经排名器建立了最先进的排名有效性。然而,由于以下挑战性问题,将这些基于PLM的排名器直接应用于大规模Web搜索系统并非易事:(1)大规模神经PLM的极其昂贵的计算,特别是对于Web文档中的长文本,禁止它们部署在要求极低延迟的在线排名系统中;(2)现有的排名不可知的预培训目标和广告之间的差异,需要综合相关性建模的特殊检索场景是改进在线排名系统的另一个主要障碍;(3)真实世界的搜索引擎通常涉及排名组件的委员会,因此单独微调的排名模型的兼容性对于合作排名系统是关键的。在这项工作中,我们贡献了一系列成功应用的技术,在部署最先进的中文预训练语言模型时解决这些暴露的问题,即,ERNIE,在网上搜索引擎系统。我们首先阐明了一种新颖的做法,以成本效益的总结Web文档和上下文所产生的摘要内容与查询使用一个便宜而强大的金字塔ERNIE架构。然后,我们赋予一个创新的范式,精细地利用大规模的噪声和偏见的点击后行为数据的相关导向的预训练。我们还提出了一个人为锚定的微调策略,为在线排名系统量身定制,旨在稳定在各个在线组件的排名信号。大量的离线和在线实验结果表明,所提出的技术显着提高搜索引擎的性能。
2021-06-25 cs.IR
Optimizing E-commerce Search: Toward a Generalizable and Rank-Consistent Pre-Ranking Model
针对电商搜索精排前阶段,提出通用且排序一致的GRACE模型,通过多二分类任务和对比学习提升排序一致性与泛化性,离线AUC提升0.75%,在线CVR提升1.28%。
2024-08-21 cs.IR cs.LG
Optimizing Keyphrase Ranking for Relevance and Diversity Using Submodular Function Optimization (SFO)
Kyung Hee University(庆熙大学)
针对关键短语排序中相关性与多样性难以兼顾的问题,提出基于子模函数优化(SFO)的子模最大化方法,在基准数据集上同时提升两类指标并取得最优执行时间。
2024-10-26 cs.AI cs.IR
Ranking with social cues: Integrating online review scores and popularity information
在线市场、搜索引擎和数据库采用聚合的社交信息来为用户对它们的内容进行排名。两种常用的排序方法是平均评论分数和项目流行度,即体验过某个项目的用户数量。这些规则虽然易于实现,但只能部分反映实际的用户偏好,因为人们可能会为平均分数和受欢迎程度赋值,并在两者之间进行权衡。人们在做选择时如何整合这两条社会信息?我们提出了两个实验,其中我们要求参与者选择200次直接从两个广泛使用的在线场所:亚马逊和IMDb。向参与者提供的唯一信息是平均分数和评论数量,这是受欢迎程度的代表。我们发现,大多数人愿意接受平均得分稍低的项目,如果他们更受欢迎。然而,我们的研究发现参与者之间的偏好存在很大的多样性,这表明依赖于社会信息的个性化排名方案具有相当大的潜力。
2017-06-23 cs.IR
Optimizing Ranking Systems Online as Bandits
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团);Microsoft(微软)
排序系统是现代检索和推荐系统的核心部分,其目标是根据用户上下文对候选项进行排序。在线优化排名系统意味着部署的系统可以服务于用户请求,例如,查询,并通过从用户交互中学习来优化排名策略,例如,次点击Bandit是一个通用的在线学习框架,可以用于我们的优化任务。然而,由于排名的独特性,在设计用于排名系统优化的强盗算法方面存在一些挑战。在这篇论文中,我们研究并提出了四个挑战的解决方案,在优化排名系统在线:有效性,安全性,非平稳性和多样化。首先,有效性与算法从交互中学习的速度有关。本文研究了有效的在线排名评估任务,提出了一种有效的在线排名评估算法。其次,部署的算法应该是安全的,这意味着算法只显示用户请求的合理内容。为了解决安全的在线学习排名问题,我们提出了BubbleRank算法。第三,当用户不断改变他们的偏好时,算法应该处理非平稳性。我们制定这个非平稳在线学习排名问题级联非平稳土匪,并提出CascadeDUCB和CascadeSWUCB算法来解决这个问题。最后,排行榜的内容应该是多样的。我们认为结果多样化的任务,并提出了CascadeHybird算法,同时考虑项目的相关性和结果多样化时,从用户交互学习。
2021-10-12 cs.IR cs.LG
Contrastive Information Transfer for Pre-Ranking Systems
实词搜索和推荐系统通常采用多阶段的排名体系结构,包括匹配、预排名、排名和重新排名。以往的研究主要集中在排名阶段,很少有研究关注排名前阶段。在本文中,我们专注于从排序到预排序阶段的信息传递。我们提出了一个新的对比信息转移(CIT)框架,将有用的信息从排序模型转移到预排序模型。我们训练预排序模型,以区分表示的正对与具有对比目标的正对和负对的集合。因此,预排序模型可以充分利用排序模型表示中的丰富信息。CIT框架还具有减轻选择偏差和提高召回指标性能的优点,这对于预排名模型至关重要。我们进行了大量的实验,包括离线数据集和在线A/B测试。实验结果表明,CIT取得了优于竞争模型的结果。此外,在一个全球最大的电子商务平台上进行的严格的在线A/B测试表明,该模型在CTR和VBR上分别提高了0.63和1.64%.该模型现已在线部署,并为该系统的主要流量提供服务,为业务增长做出了显着贡献。
2022-07-07 cs.IR
Learning to Rank Words: Optimizing Ranking Metrics for Word Spotting
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
在本文中,我们探讨和评估使用排名为基础的目标函数学习同时一个单词串和一个字的图像编码器。我们认为检索框架中,用户期望的检索列表排名根据定义的相关性得分。在单词识别问题的上下文中,根据与查询字符串的字符串编辑距离来设置相关性分数。我们的实验证明了所提出的模型的竞争力的性能,手写和真实场景的单词图像上的查询字符串单词发现。我们还提供了查询的例子词发现的结果,虽然它不是这项工作的主要重点。
2021-06-09 cs.CV cs.IR
Group-based ranking method for online rating systems with spamming attacks
排序问题在实际系统中引起了广泛的关注。在垃圾邮件攻击的威胁下,如何设计一种鲁棒的排名方法对于在线评分系统尤为重要。通过为用户建立信誉系统,许多性能良好的排名方法已被应用于解决这个问题。在这封信中,我们提出了一个基于组的排名方法,评估用户的声誉的基础上,他们的分组行为。更具体地说,如果用户总是属于大的评级组,则会为他们分配高的声誉分数。在三个真实数据集上的实验结果表明,在垃圾邮件攻击下,该方法比基于相关性的方法具有更高的准确性和鲁棒性。
2015-01-04 cs.IR physics.soc-ph
Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德·德尔海兹)
反事实评估可以根据历史交互数据估计排名系统之间的点击率(CTR)差异,同时减轻位置偏差和项目选择偏差的影响。我们引入了新的日志策略优化算法(LogOpt),它优化了日志数据的策略,使反事实估计具有最小的方差。由于最小化方差导致更快的收敛,LogOpt提高了反事实估计的数据效率。LogOpt将反事实方法(与日志策略无关)转变为在线方法,由算法决定显示什么样的排名。我们证明,作为一种在线评估方法,LogOpt是无偏的w.r.t.位置和项目选择偏差,不像现有的交织方法。此外,我们通过模拟数千个排名之间的比较来进行大规模实验。我们的研究结果表明,虽然交织方法会产生系统误差,但LogOpt与交织方法一样有效,而不会有偏差。
2020-07-28 cs.IR cs.LG
Compact Token Representations with Contextual Quantization for Efficient Document Re-ranking
基于Transformer的重排序模型可以通过上下文感知的查询令牌与文档令牌的软匹配来实现高搜索相关性。为了减轻运行时的复杂性,这样的推理,以前的工作已经采用了一个后期的互动架构与预先计算的上下文令牌表示的成本一个大的在线存储。本文提出了上下文量化的令牌嵌入解耦的文档特定的和文档无关的排名的贡献,在基于码本的压缩。这允许有效的在线解压缩和嵌入组合,以获得更好的搜索相关性。本文提出了一个评估上述紧凑的令牌表示模型的相关性和空间效率。
2022-03-29 cs.IR
Rethinking the Role of Pre-ranking in Large-scale E-Commerce Searching System
本文重新审视电商搜索系统中预排序的角色,提出与在线A/B测试一致的无序集合评估指标ASH及多目标学习框架ASMOL,显著提升了预排序效果并实现1.2%的GMV增长。
2023-05-23 cs.IR
Scalable Exploration for Neural Online Learning to Rank with Perturbed Feedback
深度神经网络(DNN)在提高检索任务的排名性能方面表现出显着的优势。在DNN优化和泛化的最新技术发展的推动下,通过与用户的交互在线学习神经排名模型成为可能。然而,模型学习所需的探索必须在整个神经网络参数空间中进行,这是非常昂贵的,并限制了这种在线解决方案在实践中的应用。在这项工作中,我们提出了一个有效的探索策略在线交互式神经排名学习的基础上的自举的想法。我们的解决方案采用了一个整体的排名模型训练扰动用户点击反馈。所提出的方法消除了显式置信集构造和相关的计算开销,这使得在线神经排序器的训练在实践中能够在理论保证下有效地执行。在两个公共学习排序基准数据集上与一系列最先进的OL2R算法进行了广泛的比较,证明了我们提出的神经OL2R解决方案的有效性和计算效率。
2022-09-25 cs.IR
Optimizing Dense Retrieval Model Training with Hard Negatives
排序一直是信息检索研究的热点之一。几十年来,词汇匹配信号一直主导着特定的检索过程,但在检索中单独使用这个信号可能会导致词汇不匹配问题。近年来,随着表示学习技术的发展,许多研究者转向稠密检索(DR)模型以获得更好的排序性能。虽然现有的几个DR模型已经取得了可喜的成果,其性能的改善严重依赖于训练样本的采样。许多有效的采样策略在实际应用中效率不够,并且对于其中的大多数,仍然缺乏如何以及为什么会发生性能改善的理论分析。为了阐明这些研究问题,我们从理论上研究了DR模型的不同训练策略,并试图解释为什么硬负采样比随机采样性能更好。通过分析,我们还发现,静态硬负采样,这是许多现有的训练方法所采用的潜在风险。因此,我们提出了两种训练策略,分别命名为稠密检索的稳定训练算法(STAR)和直接优化排名的查询端训练算法(ADORE)。STAR通过引入随机否定来提高DR训练过程的稳定性。ADORE用动态硬负采样方法取代了广泛采用的静态硬负采样方法,直接优化了排名性能。两个公开的检索基准数据集上的实验结果表明,无论是战略获得显着改善现有的竞争基线和它们的组合导致最佳性能。
2021-04-16 cs.IR
Structural Learning of Diverse Ranking
相关性和多样性都是有效搜索系统的关键标准。在本文中,我们提出了一个统一的学习框架,同时优化相关性和多样性。具体来说,问题被形式化为一个结构化的学习框架优化多样性相关的评价措施(DCEM),如ERR-IA,a-NDCG和NRBP。在这个框架内,判别函数被定义为一个双标准的目标,最大化的总和的相关性分数和相异(或多样性)的文件。相关性和多样性特征分别用于定义相关性分数和相异性。与传统方法相比,该方法的优点在于:(1)直接将DCEM作为损失函数进行优化,更符合实际情况;(2)该框架不依赖子主题等显式多样性信息,更适合实际应用;(3)多样性的表示作为基于特征的评分函数更灵活地将丰富的基于多样性的特征并入学习框架中。在公开的TREC数据集上的大量实验表明,我们的方法显着优于最先进的多样化方法,这验证了上述优势。
2015-04-20 cs.IR
PCDF: A Parallel-Computing Distributed Framework for Sponsored Search Advertising Serving
本文提出并行计算分布式框架PCDF,将赞助搜索广告排序拆分为并行预模块、排序中模块和结合自然搜索结果的重排序后模块,以降低推理延迟并支持端到端在线训练。
2023-08-08 cs.IR
RankTower: A Synergistic Framework for Enhancing Two-Tower Pre-Ranking Model
RankTower提出一种协同双塔预排序框架,通过混合训练目标从级联全阶段学习,在保持解耦推理效率的同时提升排序能力,在公共数据集上显著优于现有模型。
2024-07-17 cs.IR
Optimizing Sponsored Search Ranking Strategy by Deep Reinforcement Learning
alibaba-inc(阿里巴巴集团);taobao(淘宝);sjtu(上海交通大学)
赞助搜索是几乎所有搜索引擎不可或缺的商业模式和主要收入来源。从广告商的角度来看,通过为赞助搜索广告付费来参与对搜索结果的排名以吸引更多的认知和购买,有助于他们的商业目标。从用户角度来看,呈现反映其倾向的个性化广告将使他们的在线搜索体验更加令人满意。赞助搜索平台通过排名函数对广告进行排名,以确定要显示的广告列表和广告主的收费价格。因此,找到一个好的排名函数,可以同时满足平台,用户和广告商是至关重要的。此外,在来自不同用户的不同查询下示出位置的广告可能与不同投标价格分布和点击概率分布的广告候选相关联,这要求排名函数自适应地优化以适应业务特性。在这项工作中,我们提出了一个通用的框架来优化排名功能的深度强化学习方法。该框架由两部分组成:离线学习部分,其通过从模拟广告环境学习来验证排名函数,允许在不损害商业平台性能的情况下充分探索排名函数参数空间。在线学习部分,其通过适应在线数据分布来进一步优化排名功能。在大规模赞助搜索平台上的实验结果验证了该方法的有效性。
2018-03-26 cs.AI cs.IR cs.LG
Faceted Ranking of Egos in Collaborative Tagging Systems
多媒体上传的内容被标记并由协作系统的用户推荐,从而产生非正式的分类,也称为大众分类。分面网络排名已被证明是一个合理的替代单一的排名,不考虑个性化的背景。在本文中,我们分析了与多个标签组成的方面相关的用户排名的在线计算。可能的应用是用户信誉评估(自我排名)和改进的内容质量的情况下检索。我们提出了一种基于PageRank作为中心性度量的解决方案:(i)基于相应的标签依赖子图离线计算每个标签的排名;(ii)通过合并面中所有标签对应的排名来生成面顺序。通过经验观察验证的基本假设是步骤(i)是可扩展的。我们还提出了算法的部分(ii)具有时间复杂度O(k),其中k是在方面的标签的数量,非常适合于在线计算。
2008-09-26 cs.IR
P-MMF: Provider Max-min Fairness Re-ranking in Recommender System
在本文中,我们解决的问题,推荐公平地从供应商的角度,这已成为越来越重要的多利益相关者推荐系统。现有的研究提供者公平性通常集中在设计比例公平性(PF)的指标,首先考虑系统的公平性。然而,社会学的研究表明,为了使市场更稳定,最大最小公平(MMF)是一个更好的度量。其主要原因是市场营销基金的目标是优先提高最差供应商的效用,引导系统支持处于弱势市场地位的供应商。在将MMF应用于推荐系统时,如何在在线推荐场景中平衡用户偏好和提供者公平性仍然是一个具有挑战性的问题。本文提出了一种基于供应商最大最小公平性的在线重排序模型P-MMF。具体而言,P-MMF将提供商公平推荐公式化为资源分配问题,其中暴露时隙被认为是要分配给提供商的资源,并且在过程期间使用最大-最小公平性作为正则化器。我们表明,该问题可以进一步表示为一个正则化的在线优化问题,并有效地解决其对偶空间。在在线重排序阶段,设计了动量梯度下降方法进行动态重排序。理论分析表明,P-MMF的后悔是有界的。在四个公共推荐数据集上的实验结果表明,P-MMF可以优于最先进的基线。实验结果还表明,P-MMF可以保持小的计算成本的语料库与大量的项目。
2023-03-12 cs.IR
COPR: Consistency-Oriented Pre-Ranking for Online Advertising
Alibaba Group(阿里巴巴集团)
针对在线广告级联架构中预排序与排序模型结果不一致的问题,提出一致性导向预排序框架COPR,通过分块采样、排序对齐模块及ΔNDCG加权机制优化ECPM排序一致性,在淘宝广告系统实现CTR和RPM显著提升。
2023-10-09 cs.IR cs.LG
Optimizing Group-Fair Plackett-Luce Ranking Models for Relevance and Ex-Post Fairness
Indian Institute of Science(印度科学研究所);University of California, Berkeley(加利福尼亚大学伯克利分校);Microsoft Research, Bengaluru(微软研究院班加罗尔分院);Microsoft Research(微软研究院)
针对学习排序中仅优化相关性易引发表征损害、事前公平随机排序无法保障事后公平的问题,提出带事后表征约束的群体公平Plackett-Luce模型,在保证公平的同时提升相关性,隐式偏差场景下表现更优。
2023-08-25 cs.CY cs.IR cs.LG
Optimizing Gross Merchandise Volume via DNN-MAB Dynamic Ranking Paradigm
Business Growth BU.(业务增长事业部)
随着人们从传统的“实体店”购物模式向web2.0 $\mathit{era}$中的在线移动购物模式的转变,推荐系统在电子商务和电子零售中起着至关重要的作用。当为超过$\mathbf{236~million}$的每日活跃用户设计此系统时,尤其如此。排名策略是推荐系统的关键模块,需要精确、准确、快速地估计用户的意图。我们提出了一个动态排名范例,命名为DNN-MAB,它由一个成对的深度神经网络(DNN)$\mathit{pre}$ -排名器连接一个修订的多臂强盗(MAB)动态$\mathit{post}$ -排名器组成。通过考虑显式和隐式的用户反馈,如印象,点击,转换等,DNN-MAB能够调整DNN $\mathit{pre}$排名分数,以帮助客户定位他们最感兴趣的项目,以便他们可以快速和频繁地收敛。据我们所知,像DNN-MAB这样的框架在以前的文献中没有向电子商务或机器学习受众进行过讨论。在实践中,DNN-MAB已经部署到生产中,它通过显着提高商品总量(GMV)(这是JD的客观指标),轻松优于其他最先进的模型。
2017-08-14 cs.AI cs.IR
An Empirical Study of Uniform-Architecture Knowledge Distillation in Document Ranking
基于BERT的排序模型在商业搜索引擎中得到了广泛的应用,但对于在线排序任务来说,它们通常是耗时的。知识蒸馏是一种减少在线推理延迟的常用策略,其目的是学习性能与较大模型相当的较小模型。在本文中,我们研究了不同的损失函数的均匀结构蒸馏的BERT排序模型的效果。这里的“统一架构”表示教师和学生模型都在交叉编码器架构中,而学生模型包括小规模的预训练语言模型。我们的实验结果表明,排序任务的最佳蒸馏配置与一般的自然语言处理任务有很大的不同。具体而言,当学生模型处于交叉编码器架构中时,成对丢失硬标签对于训练学生模型至关重要,而中间Transformer层的蒸馏目标可能会损害性能。这些发现强调了仔细设计一个蒸馏策略(交叉编码器的学生模型)的必要性,为文档排序与成对训练样本量身定制。
2023-02-08 cs.IR
YES SIR!Optimizing Semantic Space of Negatives with Self-Involvement Ranker
Huawei(华为);Renmin University of China(中国人民大学)
以BERT为代表的预训练模型已被证明是处理信息检索问题的有效工具。由于其令人鼓舞的性能,它已被广泛用于解决现实世界的IR问题,如文档排序。最近,研究人员发现,选择“硬”而不是“随机”的负样本将有利于在排名任务中微调预训练模型。然而,如何以有原则的方式利用硬阴性样本仍然是难以捉摸的。为了解决上述问题,我们提出了一个微调策略的文档排序,即自我参与排名(SIR),动态选择硬负样本,以构建高质量的语义空间,训练一个高质量的排名模型。具体来说,SIR由使用预训练模型实现的顺序压缩器组成。前压缩机为后压缩机选择硬阴性样品。此外,SIR利用监督信号自适应地调整负样本的语义空间。最后,基于条件概率计算后压缩机的监控信号,从而控制样本动态,进一步提高模型性能。SIR是预训练模型的轻量级通用框架,简化了行业实践中的排名过程。我们在MS MARCO上测试了我们提出的解决方案,并设置了文档排序,结果表明SIR可以显着提高各种预训练模型的排名性能。此外,我们的方法于2021年5月在MS MARCO文档排序排行榜上匿名成为新的SOTA模型。
2021-09-14 cs.CL cs.IR
UNDR: User-Needs-Driven Ranking of Products in E-Commerce
在线零售商通常会提供大量的产品供客户筛选和浏览。产品列出的顺序取决于在线商店中采用的排名算法。最先进的排名方法是复杂的,并利用许多不同的信息,例如,用户查询和意图、产品属性、流行度、新近度、评论或购买。然而,包含用户生成的数据(如点击数据、用户评级或评论)的方法不利于尚未被客户评级的新产品。因此,我们提出了用户需求驱动的排名(UNDR)的方法,占明确的客户需求,通过使用方面的流行度和方面的价值流行度。作为一种以用户为中心的方法,不依赖于购买后的评级或评论,我们的方法绕过了冷启动问题,同时仍然反映了普通客户的需求。在两个初步的用户研究中,我们将我们的排名方法与基于评级的排名基线进行了比较。我们的研究结果表明,我们提出的方法产生的排名,适合当前客户的需求显着优于基线。然而,更细粒度的使用特定排名并没有进一步提高排名。
2023-02-13 cs.IR
Optimizing Compound Retrieval Systems
Radboud University Nijmegen(奈梅亨拉德堡德大学);Google DeepMind(谷歌DeepMind)
提出复合检索系统这一更广泛类别,支持级联外的模型交互(如LLM相对相关性比较),优化组件模型应用位置与预测聚合,结合BM25与LLM预测,在有效性和效率权衡上优于级联方法。
2025-04-16 cs.AI cs.IR cs.LG
Greedy Optimized Multileaving for Personalization
个性化在许多服务中起着重要的作用。为了评估个性化排名,在线评估,如A/B测试,今天被广泛使用。近年来,多重离开被认为是评价信息检索领域排名的一种有效方法。本文介绍了第一次尝试,以优化个性化设置的多重离开方法。我们澄清了将这种方法应用于个性化排名的挑战。然后,为了解决这些挑战,我们提出了一个新的信用反馈函数的贪婪优化多重离开(GOM)。实证结果表明,GOM是稳定的增加排名长度和排名的数量。我们在实际的新闻推荐系统上实现了GOM,并比较了它的在线性能。结果表明,GOM评估的个性化排名准确,与A/B测试的样本量显着较小(< 1/10)。
2019-07-19 cs.IR
Demystifying Core Ranking in Pinterest Image Search
Pinterest图片搜索引擎每天帮助数亿用户发现有趣的内容。这激励我们通过改进排名技术来提高图像搜索质量。在这项工作中,我们分享了我们如何实际设计和部署各种排名管道到Pinterest图像搜索生态系统中。具体而言,我们着重介绍了我们的新的研究和研究三个方面:训练数据,用户/图像特征化和排名模型。广泛的离线和在线研究比较了不同模型的性能,并证明了我们最终推出的排名模型的效率和有效性。
2018-03-26 cs.IR
Breaking the Lens of the Telescope: Online Relevance Estimation over Large Retrieval Sets
本文提出在线相关性估计范式,通过在线老虎机算法在排序过程中持续更新查询相关性估计,动态重排候选文档,从而缓解传统望远镜式检索的召回率限制,并在TREC基准上验证其样本高效性和召回率提升效果。
2025-05-07 cs.IR
Click Efficiency: A Unified Optimal Ranking for Online Ads and Documents
传统的概率排序原则被用于对搜索结果进行排序,而基于期望利润的排序被用于付费广告的放置。这些排名试图最大限度地提高基于用户点击模型的预期效用。最近对搜索引擎日志的实证分析表明,排名广告和搜索结果都有一个统一的点击模型。文档和广告排名的分离视图没有考虑这种共性。此外,所使用的模型考虑以下参数:(i)用户放弃浏览结果的概率(ii)结果片段的感知相关性。但如何考虑他们改善排名目前是未知的。在本文中,我们提出了一个广义的排名功能-即“点击效率(CE)”-文件和广告的经验证明用户点击模型的基础上。排序考虑上述参数(i)和(ii),最优的并且具有与排序相同的时间复杂度。为了利用它的一般性,我们研究了减少形式的CE排名在不同的假设枚举的层次结构的排名功能。层次结构中的一些排名是当前使用的广告和文档排名功能;而其他排名则建议新的排名。虽然最优的排名是足够的文件排名,应用CE排名广告拍卖需要一个适当的定价机制。我们将第二个基于价格的定价机制与建议的排名。我们的分析证明了几个理想的属性,包括收入优势VCG相同的出价向量和存在的纳什均衡纯策略。这个均衡是社会最优的,收入等于真实的VCG均衡。此外,我们放松了CE排名的独立性假设,并分析了多样性排名问题。我们表明,最佳多样性排名是NP-困难的一般情况下,一个恒定的时间近似是不可能的。
2011-07-08 cs.GT cs.IR
Evaluating user reputation in online rating systems via an iterative group-based ranking method
声誉是在线社交生活中的一项宝贵资产,越来越受到人们的关注。由于垃圾邮件攻击的存在,如何对用户信誉进行评估显得尤为重要。为了解决这个问题,到目前为止,已经提出了各种方法,包括基于网络的方法,基于质量的方法和基于组的排序方法。在本文中,我们提出了一个迭代的基于组的排名(IGR)方法,通过引入一个迭代的声誉分配过程到原始的基于组的排名(GR)方法。更具体地,具有较高声誉的用户在支配相应的组大小方面具有较高的权重。用户的信誉和相应的组大小被迭代地更新,直到它们变得稳定。两个实际数据集上的结果表明,所提出的IGR方法具有更好的性能,其鲁棒性显着提高比原来的GR方法。我们的工作突出了用户的分组行为对更好的声誉评价的积极作用。
2015-09-02 cs.IR cs.SI physics.data-an
Optimizing generalized Gini indices for fairness in rankings
Meta AI Research(元人工智能研究院);LAMSADE, Université Paris Dauphine-PSL(巴黎多芬大学-PSL LAMSADE实验室)
人们越来越感兴趣的是设计推荐系统,旨在公平对待项目生产者或他们最不满意的用户。受经济学中不平等度量领域的启发,本文探讨了使用广义基尼福利函数(GGF)作为一种手段来指定推荐系统应该优化的规范标准。GGF根据个人在人口中的地位来衡量个人的权重,给予境况更差的个人更大的权重,以促进平等。根据这些权重,GGF最小化项目暴露的基尼指数,以促进项目之间的平等,或专注于最不满意的用户的特定分位数的性能。用于排名的GGF具有挑战性,因为它们是不可微的。我们解决这个挑战,利用工具,从非光滑优化和投影算子中使用的微分排序。我们使用真实数据集进行了实验,其中包含多达15k个用户和项目,这表明我们的方法在各种推荐任务和公平性标准上获得了比基线更好的权衡。
2023-03-28 cs.AI cs.CY cs.IR
Uni-FedRec: A Unified Privacy-Preserving News Recommendation Framework for Model Training and Online Serving
新闻推荐是个性化在线新闻服务的重要组成部分。现有的大多数新闻推荐方法依赖于集中存储的用户行为数据来离线训练模型并提供在线推荐服务。然而,用户数据通常是高度隐私敏感的,并且集中存储它们可能会引起隐私问题和风险。在本文中,我们提出了一个统一的新闻推荐框架,它可以利用用户数据本地存储在用户客户端的训练模型,并在隐私保护的方式为用户提供服务。在现实世界的推荐系统中广泛使用的范例,我们的框架包含两个阶段。第一个用于候选新闻生成(即,召回)而第二个用于候选新闻排名(即,排名)。在召回阶段,每个客户端从点击的新闻中本地学习多个兴趣表示,以全面建模用户兴趣。这些表示被上传到服务器以从大的新闻池中召回候选新闻,这些候选新闻在排名阶段被进一步分发到用户客户端以用于个性化新闻显示。此外,我们提出了一个兴趣分解-聚合方法与扰动噪声,以更好地保护私人用户信息编码在用户的兴趣表示。此外,我们协同训练召回和排名模型的数据分散在大量的用户客户端的隐私保护的方式。在两个真实新闻数据集上的实验表明,该方法在性能上优于基线方法,并有效地保护了用户隐私。
2021-09-11 cs.IR
Context Attentive Document Ranking and Query Suggestion
我们提出了一个上下文感知的神经排序模型,利用用户的任务搜索活动,提高检索性能。特别是,一个两级层次递归神经网络被引入到学习搜索上下文表示的个人查询,搜索任务,以及相应的依赖结构,通过共同优化两个同伴检索任务:文档排序和查询建议。为了识别搜索上下文和用户正在进行的搜索活动之间的变量依赖结构,在两个层次的经常性状态的注意力。广泛的实验比较,对一组丰富的基线方法和深入的消融分析证实了我们提出的方法建模搜索上下文埋在搜索任务的价值。
2019-06-05 cs.IR
COLD: Towards the Next Generation of Pre-Ranking System
Alibaba Group(阿里巴巴集团)
多级级联结构广泛存在于推荐系统、在线广告等工业系统中,通常由匹配、预排序、排序等顺序模块组成。长期以来,人们认为预排序只是排序模块的简化版本,考虑到待排序的候选集规模较大。因此,努力主要是简化排名模型,以处理在线推理计算能力的爆炸。在本文中,我们重新思考的挑战,预排名系统从算法系统协同设计的观点。本文通过对预排序模型和计算能力的联合优化,设计了一种新的预排序系统,而不是通过限制模型结构来节省计算能力,从而导致模型性能的损失。我们称之为COLD(计算能力成本感知在线和轻量级深度预排名系统)。COLD在三个方面击败了SOTA:(i)在可控计算能力成本的约束下,可以在COLD中应用具有交叉特征的任意深度模型。(ii)通过应用用于推理加速的优化技巧来显式地降低计算能力成本。这进一步为COLD提供了应用更复杂的深度模型以实现更好性能的空间。(iii)COLD模型以在线学习和服务的方式工作,使其具有出色的能力来应对数据分布偏移的挑战。自2019年以来,COLD已部署在阿里巴巴展示广告系统中几乎所有涉及预排名模块的产品中,带来了显著的改进。
2020-08-17 cs.AI cs.IR cs.LG
Online News Media Website Ranking Using User Generated Content
University of Tehran(德黑兰大学);University of Houston(休斯顿大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
新闻媒体网站是重要的在线资源,引起了文本挖掘研究者的极大关注。本研究的主要目的是提出一个从不同角度对在线新闻网站进行排名的框架。新闻网站的排名是一个有用的信息,它可以帮助许多与新闻相关的任务,如新闻检索和新闻推荐。在所提出的框架中,新闻网站的排名是通过计算三个措施介绍了文件和用户生成的内容的基础上。每项建议的衡量标准都从一个特定的角度关注新闻网站的表现,包括新闻报道的完整性、网站报道事件的多样性和速度。在这个框架中使用用户生成的内容,作为一个部分公正的,实时的和低成本的内容在网络上区分建议的新闻网站排名框架的文献。对BBC、CNN、NYTimes三家主要新闻网站的调查结果表明,BBC在新闻完整性和速度方面表现最好,NYTimes在新闻多样性方面表现最好。
2019-10-28 cs.CL cs.IR cs.SI
New Insights into Metric Optimization for Ranking-based Recommendation
直接优化的IR指标经常被采用的方法来设计和开发基于排名的推荐系统。遵循这种方法的大多数方法旨在优化用于评估的相同度量,假设这将导致最佳性能。然而,对这一做法的一些研究对这一假设提出了质疑。在本文中,我们深入研究了这个问题,以了解更多的影响的选择的度量,以优化性能的排名为基础的推荐系统。我们提出了一个广泛的实验研究,在不同的数据集上进行成对和列表学习排名的情况下,比较四个流行的IR指标,即RR,AP,nDCG和RBP的相对优点,当用于优化和评估的推荐系统在各种组合。对于前三个,我们遵循文献中可用的损失函数公式化的实践。对于第四个,我们提出了新的损失函数的启发RBP的成对和列表的情况。我们的研究结果证实,最好的性能确实不一定达到优化相同的指标用于评估时。事实上,我们发现RBP引发的损失至少以一致的方式表现得与其他指标一样好,并且在几种情况下提供了明显的好处。有趣的是,RBP引发的损失,虽然提高了所有用途的推荐性能,但可能会导致与用户与项目交互的活动水平相关的个人性能增益。用户越活跃,他们受益越多。总的来说,我们的研究结果挑战了当前研究实践中优化和评估相同指标的假设,并指出基于RBP的优化在推荐环境中学习排序时是一种有前途的替代方案。
2021-06-04 cs.IR
A Hybrid Cross-Stage Coordination Pre-ranking Model for Online Recommendation Systems
JD.com, Inc(京东公司)
针对预排序仅对齐下游导致的样本选择偏差问题,提出HCCP模型,融合召回、排序与重排序信息,并通过混合样本构建和Margin InfoNCE优化提升跨阶段协同及在线指标。
2025-02-14 cs.AI cs.IR
Marginal-Certainty-aware Fair Ranking Algorithm
排名系统在现代互联网服务中无处不在,包括在线市场、社交媒体和搜索引擎。传统的排名系统只关注如何获得更好的相关性估计。当相关性估计可用时,它们通常采用以用户为中心的优化策略,其中通过根据项目的估计相关性对项目进行排序来生成排名列表。然而,这种以用户为中心的优化忽略了一个事实,即项目提供商也从排名系统中获取效用。现有研究表明,这种以用户为中心的优化会对物品提供者造成很大的不公平,其次是对物品提供者的不公平机会和不公平的经济收益。为了解决排名公平性,已经提出了许多公平排名方法。然而,正如我们在本文中所示,这些方法可能是次优的,因为它们直接依赖于相关性估计而不知道不确定性(即,估计的相关性的方差)。为了解决这种不确定性,我们提出了一种新的边缘感知公平算法MCFair。MCFair联合优化公平性和用户效用,而相关性估计以在线方式不断更新。在MCFair中,我们首先开发了一个排名目标,包括不确定性,公平性和用户效用。然后我们直接使用排序目标的梯度作为排序得分。我们从理论上证明了基于梯度的MCFair对于上述排名目标是最优的。从经验上讲,我们发现,在半合成数据集上,MCFair是有效和实用的,与最先进的公平排名方法相比,可以提供更优越的性能。为了便于重现,我们发布了我们的代码https://github.com/Taosheng-ty/WSDM22-MCFair。
2022-12-18 cs.IR
Learning Neural Ranking Models Online from Implicit User Feedback
University of Virginia(弗吉尼亚大学)
现有的在线学习排序(OL 2 R)解决方案仅限于线性模型,这是不足以捕捉查询和文档之间可能的非线性关系。在这项工作中,为了释放OL 2 R中表示学习的力量,我们提出直接从用户的隐式反馈(例如,点击)在飞行中收集。我们专注于RankNet和LambdaRank,由于它们在离线设置中的巨大经验成功和广泛采用,并基于使用神经切线核的神经网络的收敛分析来控制臭名昭著的探索-利用权衡。具体而言,在每轮结果服务中,仅对两个文档之间的预测排名顺序不确定的文档对进行探索;否则,将在结果排名中遵循排名器的预测顺序。我们证明了在标准假设下,我们的OL 2 R解决方案实现了间隙依赖的遗憾上限$O(\log^2(T))$,其中的遗憾是定义在$T$轮的错序对的总数。在两个公共学习排序基准数据集上对一组广泛的最先进的OL 2 R基线进行比较,证明了所提出的解决方案的有效性。
2022-01-17 cs.IR cs.LG
Online Article Ranking as a Constrained, Dynamic, Multi-Objective Optimization Problem
University of Pittsburgh(匹兹堡大学);Yahoo! Research(雅虎研究院);Airbnb(爱彼迎);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
社交新闻网站中的内容排名问题通常是最大化感兴趣的标量度量(如停留时间)的函数。然而,就像在大多数现实世界的应用程序中一样,我们对多个指标感兴趣-例如同时最大化点击率,货币化指标,停留时间-并满足对不同发布者的流量要求。所有这些都需要在在线数据上完成,并且在目标函数和约束可以动态变化的设置下进行;如果例如添加新的发布者,调整某些合同,或者某些合同结束,则可能会发生这种情况。在本文中,我们制定这个问题作为一个约束,动态,多目标优化问题。我们提出了一个新的框架,扩展了一个成功的遗传优化算法,NSGA-II,来解决这个在线的,数据驱动的问题。我们设计的NSGA-II的模块,以适应我们的问题。我们使用HyperVolume评估优化性能,并引入置信区间指标来评估解决方案的实用性。我们展示了这个框架在现实世界的文章排名问题上的应用。我们观察到,我们在时间和性能上都比目前生产中的蛮力基线技术有了相当大的改进。
2017-05-16 cs.AI cs.IR
Controllable Multi-Objective Re-ranking with Policy Hypernetworks
针对多目标重排序中静态偏好权重难以在线调整且需重训的问题,提出CMR框架,利用超网络按偏好权重生成模型参数,并在Actor-Evaluator重排序模型中整合四类业务任务,离线与在线实验均验证其有效。
2023-07-18 cs.IR
MediaRank: Computational Ranking of Online News Sources
在当前的政治气候下,新闻质量问题引起了公众和学术界的广泛关注。对传统新闻媒体日益增长的不信任使得人们更难找到一个公认真理的共同基础。在这项工作中,我们设计并构建了MediaRank(www.example.com),这是一个全自动的系统,可以对全球50,000多个在线新闻源进行排名。MediaRank每天收集和分析100万个新闻网页和200万条相关推文。我们的算法分析基于记者已经建立的与报道质量相关的四个属性:同行声誉,报道偏见/广度,底线财务压力和受欢迎程度。我们对这份文件的主要贡献包括:(i)对世界上50,000多个主要新闻来源进行公开、可解释的质量排名。我们的排名是根据35个已发布的新闻排名进行验证的,包括法语,德语,俄语和西班牙语来源。MediaRank得分与35个专家排名中的34个呈正相关。(ii)测量影响和底线压力的新计算方法。据我们所知,我们是第一个对大型新闻报道引文图进行深入研究的。我们还提出了衡量广告攻击性和识别社交机器人的新方法,在这两种不良行为之间建立了联系。(iii)分析了媒体来源偏差和显著性的影响。我们证明,新闻来源引用他人,尽管不同的政治观点,符合质量的措施。然而,在四个英语国家(美国、英国、加拿大和澳大利亚),排名最高的消息来源都不成比例地支持左翼政党,即使大多数新闻来源都表现出保守倾向。
2019-05-12 cs.IR cs.SI
Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking
University of Amsterdam(阿姆斯特丹大学)
根据不同的基本假设和观点,有几种衡量排名公平性的标准。使用REINFORCE算法的PL优化可用于优化排列上的黑盒目标函数。特别是,它可以用于优化公平措施。然而,尽管PL优化对于具有中等数量的重复会话的查询有效,但是对于具有少量重复会话的查询仍有改进的空间。在本文中,我们提出了一种新的方式来表示置换分布,置换图的概念的基础上。类似于PL,我们的分布表示,称为PPG,可用于公平性的黑盒优化。与使用逐点对数作为分布参数的PL不同,在PPG中,成对反转概率与参考排列一起构建分布。因此,参考排列可以被设置为关于目标函数的最佳采样排列,使得PPG适合于确定性和随机性排序两者。我们的实验表明,PPG,而相当于PL的较大的会话重复(即,随机排序),改进了PL以优化具有一个会话的查询的公平性度量(即,确定性排名)。此外,当准确的效用估计可用时,例如,在表格模型中,与来自学习排序模型的较低质量效用估计相比,PPG在公平性优化中的性能显著提高,导致与PL的大的性能差距。最后,成对概率使得可以施加成对约束,例如"项目$d_1$的排名应该总是高于项目$d_2$"。“这样的约束可以用来同时优化公平性度量和控制另一个目标,如排名性能。
2022-04-28 cs.IR cs.LG
SERank: Optimize Sequencewise Learning to Rank Using Squeeze-and-Excitation Network
学习排序(LTR)是一组有监督的机器学习算法,旨在生成一系列项目的最佳排序顺序。在过去的几十年里,人们对许多排序模型进行了研究。大多数算法在训练和推理过程中对每个查询文档对进行独立处理。近年来,人们提出了一些基于多变量评分函数或上下文嵌入的方法,这些方法主要是通过挖掘候选列表中的信息来进行改进。然而,这些方法通常会大大增加在线推理过程中的计算成本,特别是当在现实世界的Web搜索系统中的大规模的候选人。更重要的是,很少有研究关注模型结构的新颖设计,以利用信息对候选人进行排名。在这项工作中,我们提出了一个有效的和高效的方法命名为SERank,这是一个顺序排序模型,利用挤压和激励网络,以利用跨文档的信息。此外,我们研究我们提出的方法在几个公共基准数据集,以及从商业问答搜索引擎,知乎收集的点击日志。此外,我们还在知乎搜索引擎上进行了在线A/B测试,以进一步验证所提出的方法。离线数据集和在线A/B测试的结果表明,我们的方法有助于显着改善。
2020-06-07 cs.IR
Metric-agnostic Learning-to-Rank via Boosting and Rank Approximation
Dept. of Statistics \& Data Science University of Central Florida Orlando, USA;Department of CIS, SKL-IOTSC University of Macau Macao, China;School of Computing;AI Arizona State University Tempe, USA
本文提出一种新的列表级学习排序框架,通过可微的排名损失函数和梯度提升机,实现高效且通用的排序目标,实验表明其在信息检索指标上优于现有方法。
2026-04-16 cs.IR cs.LG
Generalized Ensemble Model for Document Ranking in Information Retrieval
提出了一种用于文档排序的广义集成模型(gEnM)。gEnM线性地组合基础文档检索模型,并尝试在高位检索相关文档。为了获得多个文档检索模型或排序器的最优线性组合,通过直接最大化平均精度来制定优化程序。提出了有监督学习和无监督学习两种算法来求解该问题。对于有监督的方案,考虑了两种方法的基础上的数据设置,即批量和在线设置。在批量设置中,我们提出了一个修正的牛顿算法,gEnM.BAT,通过近似的导数和海森矩阵。在在线环境中,我们提出了一个基于随机梯度下降(SGD)的算法-gEnM. ON。对于无监督的计划,一个无监督的集成模型(UnsEnM),从每个组成的排名迭代共同学习。在基准数据集上的实验研究验证了所提算法的有效性。因此,通过适当的算法,gEnM在不同的实际信息检索应用中是可行的选择。
2017-02-01 cs.IR
Fast online ranking with fairness of exposure
Meta AI
随着推荐系统在对在线内容进行分类和优先级排序方面变得越来越重要,它们对商品生产商的机会或收入产生了越来越大的影响。例如,他们会影响简历推荐给哪个招聘人员,或者音乐曲目、视频或新闻文章被曝光给谁和曝光多少。这就要求推荐方法不仅要最大化用户满意度,而且要考虑项目或项目组曝光的公平性。形式上,这样的建议通常是通过最大化随机排名空间中的凹目标函数来获得的。当一个项目的总曝光量被定义为它在用户上的曝光量之和时,每个用户的最佳排名变得耦合,这使得优化过程具有挑战性。找到这些排名的现有方法或者解决批处理设置中的全局优化问题,即,这使得它们不适用于大规模,或者基于具有弱理论保证的物理学。在本文中,我们提出了第一个有效的在线算法,以优化凹目标函数的空间中的排名,适用于每一个凹和光滑的目标函数,如发现公平的曝光。基于Frank-Wolfe算法的在线变体,我们证明了我们的算法计算速度快,实时生成排名,计算成本由排序操作主导,内存效率高,并且具有很强的理论保证。与只最大化用户端性能的基线策略相比,我们的算法允许将复杂的公平性暴露标准与可忽略不计的计算开销的建议。
2022-09-13 cs.AI cs.CY cs.IR
Learning from User Interactions with Rankings: A Unification of the Field
排名系统构成了在线搜索引擎和推荐服务的基础。它们处理大量的项目,例如网页或电子商务产品,并向用户呈现一个小的有序选择。排名系统的目标是帮助用户以最少的努力找到他们正在寻找的项目。因此,它们产生的排名应该将最相关或最受欢迎的项目放在排名的顶部。学习排序是机器学习中的一个领域,其涵盖了优化排序系统的方法。这个目标传统的监督学习排序方法利用专家判断进行评价和学习,然而,在许多情况下,这样的判断是不可能或不可行的。作为解决方案,已经引入了替代地基于用户点击来执行学习排序的方法。点击的困难在于,它们不仅受到用户偏好的影响,还受到显示的排名的影响。因此,这些方法必须防止被用户偏好之外的其他因素所偏置。本论文主要研究基于用户点击的学习排序方法,旨在统一不同的排序方法。作为一个整体,本文的第二部分提出了一个框架,弥合了在线,反事实和监督学习排序领域之间的许多差距。它采用了以前被认为是独立的方法,并将它们统一为一种方法,用于广泛适用和有效的学习排序。
2020-12-09 cs.IR
Where to Go on Your Next Trip? Optimizing Travel Destinations Based on User Preferences
基于用户偏好的推荐是电子商务网站的常见任务。新的推荐算法通常通过与基线算法进行离线比较来评估,例如推荐随机或最受欢迎的项目。在这里,我们研究这些算法本身是如何执行的,并在实际应用中的大规模在线实验中与操作生产系统进行比较。具体来说,我们专注于在主要的在线旅游网站Booking.com上向搜索他们喜欢的度假活动的用户推荐旅游目的地。为了建立排名模型,我们使用了以前的用户在目的地停留后提供的多标准评级数据。我们实现了三种方法,并将它们与Booking.com中的当前基线进行比较:random,most popular和Naive Bayes。我们的总体结论是,在对实时用户的在线A/B测试中,我们基于朴素贝叶斯的排名器比当前的在线系统显著提高了用户参与度。
2015-06-02 cs.IR
Do Not Wait: Learning Re-Ranking Model Without User Feedback At Serving Time in E-Commerce
Alibaba Group(阿里巴巴集团);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院)
针对电商重排序在线学习依赖延迟用户反馈的问题,提出服务时学习方法LAST,用替代模型提供指导信号、按请求临时修改模型,可无缝集成现有系统,性能优于SOTA重排序模型。
2024-06-20 cs.IR cs.LG
Calibrating Explore-Exploit Trade-off for Fair Online Learning to Rank
University of Virginia(弗吉尼亚大学)
在线学习排序(OL 2 R)由于其避免了离线监督排序模型学习中昂贵的相关性标注,近年来引起了广泛的研究兴趣。这样的解决方案探索未知数(例如,有意地在顶部位置上呈现所选择的结果)以改进其相关性估计。然而,这引发了对其排名公平性的关注:在OL 2 R过程中,不同类别的项目可能会受到不同的待遇。但是现有的公平排名解决方案通常需要事先了解结果相关性或执行排名器,这与OL 2 R的设置相矛盾,因此不能直接应用于保证公平性。在这项工作中,我们提出了一个通用的框架,以实现公平性定义的组曝光OL 2 R。其核心思想是校准公平控制,相关学习和在线排名质量的探索和开发。特别是,当模型正在探索一组相关反馈的结果时,我们将探索限制在随机排列的子集内,其中在反馈仍然是无偏的同时保持组间的公平性。从理论上证明了这种策略引入最小失真OL 2 R的遗憾,以获得公平。对两个公共学习排序基准数据集进行了广泛的实证分析,以证明所提出的解决方案与现有的公平OL 2 R解决方案相比的有效性。
2021-11-01 cs.IR cs.LG
Generative Pseudo-Labeling for Pre-Ranking with LLMs
Alibaba Group(阿里巴巴集团);Renmin University(中国人民大学)
研究工业推荐系统预排序中训练与服务差异问题,提出生成式伪标签框架GPL,利用语言模型为未曝光物品生成无偏伪标签,提升点击率、推荐多样性和长尾物品发现。
2026-07-07 cs.CL cs.IR
Top Rank Optimization in Linear Time
Nanjing University(南京大学);Michigan State University(密歇根州立大学)
二分排名的目的是学习一个实值排名函数,该函数将正面实例排序在负面实例之前。最近的努力,二分排名的重点是优化排名列表的顶部的排名精度。大多数现有的方法要么是优化任务特定的指标,要么是通过更多地强调与排名靠前的实例相关联的错误来扩展排名损失,从而导致在训练实例的数量上超线性的高计算成本。我们提出了一种高效的方法,名为TopPush,用于优化在顶部的准确性,具有计算复杂性线性的训练实例的数量。我们提出了一种新的分析,边界的泛化误差的排名最高的情况下,所提出的方法。实证研究表明,所提出的方法是非常有竞争力的国家的最先进的方法,是10-100倍的速度。
2014-10-06 cs.AI cs.IR cs.LG