Group-based ranking method for online rating systems with spamming attacks
排序问题在实际系统中引起了广泛的关注。在垃圾邮件攻击的威胁下，如何设计一种鲁棒的排名方法对于在线评分系统尤为重要。通过为用户建立信誉系统，许多性能良好的排名方法已被应用于解决这个问题。在这封信中，我们提出了一个基于组的排名方法，评估用户的声誉的基础上，他们的分组行为。更具体地说，如果用户总是属于大的评级组，则会为他们分配高的声誉分数。在三个真实数据集上的实验结果表明，在垃圾邮件攻击下，该方法比基于相关性的方法具有更高的准确性和鲁棒性。
2015-01-04 cs.IR physics.soc-ph
A robust ranking algorithm to spamming
网络评分系统中的评分问题引起了人们的广泛关注。一个好的排名算法应该对垃圾邮件攻击具有鲁棒性。在此，我们提出了一个基于相关性的信誉算法，以解决这种评级系统，用户投票的一些对象与评级的排名问题。在该算法中，用户的信誉是通过他/她的评级向量和相应的对象的加权平均评级向量之间的相关系数迭代确定的。仿真和真实数据的实验结果表明，与迭代精化算法和平均得分算法相比，该算法对垃圾邮件攻击具有更高的鲁棒性。
2010-12-17 cs.IR physics.data-an
A Robust Reputation-based Group Ranking System and its Resistance to Bribery
Faculty of Engineering, University of Porto（波尔图大学工程学院）；EURECAT；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）
在线评论和意见的传播及其对人们行为和决策的日益增长的影响，提高了从这些数据洪流中提取有意义信息的兴趣。因此，众包的产品和服务评级在企业和政府中发挥了关键作用。当前最先进的解决方案利用针对项目表达的评级的平均值来对项目进行排名，结果是用户缺乏个性化，并且暴露于攻击和垃圾邮件/虚假用户。使用这些评级对具有相似偏好的用户进行分组可能有助于向用户呈现反映其偏好的项目并克服这些漏洞。在本文中，我们提出了一个新的基于声誉的排名系统，利用多部评级子网络，聚类用户的相似性，使用三种措施，其中两个基于柯尔莫哥洛夫复杂性。我们还研究了它对贿赂的抵抗力以及如何设计最佳的贿赂策略。我们的系统的新颖之处在于，它通过（可能）为不同用户群体的同一项分配不同的排名来反映偏好的多样性。我们证明了系统的收敛性和有效性。通过在合成数据和真实数据上进行测试，我们发现它能更好地应对垃圾邮件/虚假用户，比最先进的方法更能抵御攻击。此外，通过对用户进行聚类，与两方情况相比，在所提出的多方排名系统中贿赂的影响是暗淡的。
2020-04-17 cs.AI cs.CR cs.IR
Better Than Their Reputation? On the Reliability of Relevance Assessments with Students
在过去的三年中，我们进行了几个信息检索评价系列与180多名图书情报学的学生谁作出了相关性评估的结果，三个特定的检索服务。在这项研究中，我们不专注于我们的系统的检索性能，但在相关性评估和评估员之间的可靠性。为了量化一致性，我们应用Fleiss的Kappa和Krippendorff的Alpha。当我们比较这两个统计指标时，平均Kappa值为0.37，Alpha值为0.15。我们使用这两个一致性度量来从我们的数据集中删除太不可靠的评估。当计算未过滤和过滤数据集之间的差异时，我们看到均方根误差在0.02和0.12之间。我们认为这是一个明确的指标，不一致影响检索评估的可靠性。我们建议不要使用未经过滤的结果，也不要清楚地记录不一致率。
2012-06-21 cs.IR
Faceted Ranking of Egos in Collaborative Tagging Systems
多媒体上传的内容被标记并由协作系统的用户推荐，从而产生非正式的分类，也称为大众分类。分面网络排名已被证明是一个合理的替代单一的排名，不考虑个性化的背景。在本文中，我们分析了与多个标签组成的方面相关的用户排名的在线计算。可能的应用是用户信誉评估（自我排名）和改进的内容质量的情况下检索。我们提出了一种基于PageRank作为中心性度量的解决方案：（i）基于相应的标签依赖子图离线计算每个标签的排名;（ii）通过合并面中所有标签对应的排名来生成面顺序。通过经验观察验证的基本假设是步骤（i）是可扩展的。我们还提出了算法的部分（ii）具有时间复杂度O（k），其中k是在方面的标签的数量，非常适合于在线计算。
2008-09-26 cs.IR
Application of Machine Learning for Online Reputation Systems
Faculty of Information Technology, Applied Science Private University（应用科学私立大学信息技术学院）
互联网上的用户通常要求场所提供更好的购买建议。这可以由处理评级以提供推荐的信誉系统来提供。评级聚合过程是声誉系统的一个主要部分，用于产生关于产品质量的全球意见。经常使用的简单方法在计算时不考虑消费者的个人资料，无法发现新评级中出现的不公平评级和趋势。其他使用加权平均技术的复杂评级聚合方法关注消费者简档数据的一个或几个方面。本文提出了一种新的信誉系统，利用机器学习来预测消费者的可靠性，从消费者的档案。特别是，我们通过提取一组对消费者可靠性有很大影响的因素来构建新的消费者档案数据集，这些因素作为机器学习算法的输入。然后将预测的权重与加权平均方法结合以计算产品声誉得分。所提出的模型已经在三个MovieLens基准数据集上进行了评估，使用10倍交叉验证。此外，所提出的模型的性能进行了比较，以前公布的评级聚合模型。所得到的结果是有希望的，这表明该方法可能是一个潜在的解决方案的声誉系统。比较结果表明，我们的模型的准确性。最后，所提出的方法可以与在线推荐系统集成，以提供更好的购买推荐，并促进在线购物市场上的用户体验。
2022-09-10 cs.AI cs.IR cs.LG
Personalized Review Ranking for Improving Shopper's Decision Making: A Term Frequency based Approach
用户生成的评论是购物者决策过程中的重要参考。此外，它们还提高了产品销售，并验证了整个网站的声誉。因此，设计评论排名方法来帮助购物者快速做出明智的决定变得非常重要。然而，评论排名有其独特的挑战。首先，评论没有相关性标签。对购物者A的相关评论可能与购物者B无关。其次，由于购物者无法点击评论，我们无法获得相关反馈。最后，评论排名由于不同用户的相关性标准的可变性而缺乏基础事实。在本文中，我们的目标是解决帮助用户从客户评论的海洋中找到他们可能感兴趣的信息的挑战。使用UCSD收集和组织的Amazon Customer Reviews Dataset，我们首先根据用户的个人网络跟踪、最近的购物历史和以前的评论构建了用户简档，将用户简档纳入我们的排名算法，并将较高的排名分配给最大程度地解决个人购物者关注的评论。此外，我们利用用户简档来根据评论文本推荐产品。我们评估了我们的模型的基础上的经验评估和数值评估的审查分数。两种评估方法的结果显示，1000多种产品的顶级评论质量和用户满意度都有显着提高。我们的基于评论的推荐系统也表明，用户很有可能观看并喜欢我们推荐的产品。我们的工作展示了开发一种从特定最终用户的偏好中学习的排名方法的基本步骤。
2020-09-07 cs.IR
Ranking users, papers and authors in online scientific communities
提出一种在在线科学社区中同时评估用户声誉、论文质量并纳入作者信用的排名方法，实验表明其选出的论文引用更高、作者 h 指数更优。
2014-05-09 cs.DL cs.IR cs.SI
Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach
Alibaba Group（阿里巴巴集团）
在现实世界的搜索、推荐和广告系统中，通常采用多级排名架构。这种架构通常包括匹配、预排名、排名和重新排名阶段。在预排序阶段，通常采用基于向量积的模型和以表示为中心的架构来考虑系统效率。然而，这给系统的有效性带来了重大损失。本文提出了一种新的预排序方法，支持复杂的模型与交互为中心的架构。该方法利用基于特征复杂度和变分丢弃的可学习特征选择方法，在有效性和效率之间取得了较好的折衷。在一个真实世界的电子商务赞助的搜索系统的搜索引擎的评价表明，利用所提出的预排名，系统的有效性显着提高。此外，与具有常规预排序模型的系统相比，消耗相同量的计算资源。
2021-05-17 cs.AI cs.IR
An Axiomatic Approach to Regularizing Neural Ranking Models
公理化信息检索（IR）寻求一组理想的IR模型的原则属性。当正式表达这些属性时，在搜索更好的相关性估计函数时提供指导。神经排序模型通常包含大量参数。这些模型的训练涉及基于大量标记示例搜索适当的参数值。直觉上，可以指导搜索更好的传统IR模型的公理也应该有助于基于机器学习的排名器的更好的参数估计。这项工作探讨了使用IR公理来增强对训练神经排名模型的标记数据的直接监督。我们在训练过程中沿着众所周知的公理修改数据集中的文档，并根据排名模型和公理之间的一致性添加正则化损失，其中文档的版本-原始或扰动-应该是首选的。实验结果表明，公理化正则化后的神经网络排序模型具有更快的收敛速度和更好的泛化能力。
2019-04-15 cs.IR
A Survey on E-Commerce Learning to Rank
eBay（易趣）
针对电商平台核心排序算法不公开且缺乏相关广泛综述的问题，本研究综述现有电商排序学习算法，并在大型真实数据集上基于查询相关性进行比较与定量分析，是首个包含此类实验比较的综述。
2024-11-19 cs.AI cs.IR cs.LG
Towards the Better Ranking Consistency: A Multi-task Learning Framework for Early Stage Ads Ranking
Meta Platforms, Inc.（元平台公司）
针对广告初排与终排排序不一致、初排召回率低的问题，提出捕捉终排多排序组件及任务关联的初排多任务学习框架，可降本提效并提升多项业务指标。
2023-07-12 cs.IR cs.LG
Achieve Better Ranking Accuracy Using CloudRank Framework for Cloud Services
构建高质量的云应用成为一个迫切需要研究的问题。云服务的非功能性性能通常由服务质量（QoS）来描述。在云应用中，云服务通过互联网连接远程调用。用户的云服务的QoS排名不能直接传递给另一个用户，因为云应用的位置非常不同。在用户侧需要对所有候选服务进行个性化的QoS排序，但这在现实中是不切实际的。为了获得QoS值，通常需要服务候选，并且它是非常昂贵的。为了避免耗时和昂贵的现实世界的服务调用，本文提出了一个CloudRank框架，预测的QoS排名直接不预测相应的QoS值。该框架提供了一个准确的排名，但在两种算法的QoS值是相同的，所以，一个最佳的VM分配策略，以提高云服务的QoS性能，它也提供了更好的排名精度比CloudRank2算法。
2014-02-11 cs.DC cs.IR
Learn to be Fair without Labels: a Distribution-based Learning Framework for Fair Ranking
提出一种无需公平标签的基于分布的公平学习框架（DLF），用目标公平曝光分布替代缺失标签，在TREC数据集上实现更优公平性并更好权衡公平与相关性。
2024-05-28 cs.IR
Ranking sentences from product description & bullets for better search
Walmart Labs（沃尔玛实验室）
电子商务目录中的产品包含信息丰富的字段，如描述和项目符号，这些字段对于使用基于NER的系统提取实体（属性）非常有用。然而，这些字段通常是冗长的，并且包含许多从搜索角度来看不相关的信息。平等对待这些领域中的每个句子可能会导致全文匹配不佳，并在提取属性以开发本体、语义搜索等方面引入问题。为了解决这个问题，我们描述了两种基于提取摘要的方法，通过利用产品标题和搜索点击日志中的信息，利用强化学习对句子进行排序。我们比较了这两个模型的准确性。
2019-07-15 cs.CL cs.IR cs.LG
CREDENCE: Counterfactual Explanations for Document Ranking
本研究提出交互式工具CREDENCE，针对信息检索中的文档排序问题，从文档、查询及其他文档维度生成反事实解释，还支持用户自定义扰动以获取相关洞见，提升了排序器的可解释性。
2023-02-10 cs.IR
Beyond Positive History: Re-ranking with List-level Hybrid Feedback
针对重排序仅利用物品级正反馈的问题，提出 RELIFE，通过解耦兴趣、序列偏好混合和比较感知模式提取建模列表级混合反馈，并以对比学习对齐历史与候选列表模式，显著超越现有 SOTA 基线。
2024-10-28 cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
UNDR: User-Needs-Driven Ranking of Products in E-Commerce
在线零售商通常会提供大量的产品供客户筛选和浏览。产品列出的顺序取决于在线商店中采用的排名算法。最先进的排名方法是复杂的，并利用许多不同的信息，例如，用户查询和意图、产品属性、流行度、新近度、评论或购买。然而，包含用户生成的数据（如点击数据、用户评级或评论）的方法不利于尚未被客户评级的新产品。因此，我们提出了用户需求驱动的排名（UNDR）的方法，占明确的客户需求，通过使用方面的流行度和方面的价值流行度。作为一种以用户为中心的方法，不依赖于购买后的评级或评论，我们的方法绕过了冷启动问题，同时仍然反映了普通客户的需求。在两个初步的用户研究中，我们将我们的排名方法与基于评级的排名基线进行了比较。我们的研究结果表明，我们提出的方法产生的排名，适合当前客户的需求显着优于基线。然而，更细粒度的使用特定排名并没有进一步提高排名。
2023-02-13 cs.IR
Building Better Encoder-only Cross-Encoders: A Controlled Study of Training Strategies for Neural Re-ranking
Sorbonne Université, CNRS, ISIR（索邦大学）；Sinequa by ChapsVision（ChapsVision旗下Sinequa）；Université de Toulouse, CNRS, IRIT, CLLE（图卢兹大学）
本文复现并比较了不同蒸馏技术在跨编码器上的效果，发现强调相对比较的目标在性能上优于传统方法。
2026-09-01 cs.IR
Leveraging User Behavior History for Personalized Email Search
一个有效的电子邮件搜索引擎可以方便用户的搜索任务，提高他们的沟通效率。用户可能对电子邮件的各种排名信号有不同的偏好，例如基于他们手头的任务甚至他们的工作的相关性和新近度。因此，统一的匹配模式对于所有用户来说不是最佳的。相反，一个有效的电子邮件排名应该进行个性化的排名，考虑到用户的特点。已有的研究从不同的角度探索用户特征，使电子邮件搜索结果个性化。然而，很少关注用户的搜索历史来描述用户的特征。虽然用户的历史行为已被证明是有益的，作为上下文在Web搜索中，他们的电子邮件搜索的效果还没有被研究，仍然是未知的。鉴于这些观察，我们建议利用用户搜索历史作为查询上下文来描述用户，并建立一个上下文感知的电子邮件搜索排名模型。与以前基于原始文本的上下文相关排名技术相比，我们在搜索历史中使用排名功能。这使我们免于潜在的隐私泄露，同时为看不见的用户提供更好的泛化能力。因此，我们提出了一个上下文相关的神经排名模型（CNRM），编码的排名功能，在用户的搜索历史查询上下文，并表明它可以显着优于基线神经模型，而不使用上下文。我们还调查了从CNRM获得的查询上下文向量对最先进的学习排名模型LambdaMart通过聚类向量和合并聚类信息的好处。实验结果表明，在LambdaMart上也能获得明显更好的结果，表明查询聚类能够表征不同用户，有效地实现了排序模型的个性化。
2021-03-17 cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架，通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系，利用个性化上下文信号优化文档排序，有效提升了个性化搜索效果。
2023-09-10 cs.IR
Non-Linear Multiple Field Interactions Neural Document Ranking
University of Bristol（布里斯托尔大学）；Cookpad Ltd（Cookpad有限公司）
排名任务通常基于页面主体的文本和用户在页面上的操作（点击）。还有其他元素可以被利用来更好地将排名体验置于情境中（例如，其他字段中的文本、用户进行的查询、图像等）。我们提出了一个领域的相互作用，在两个独立的数据集的多个领域的排名的第一次深入分析。虽然有些作品已经利用了完整的文档结构，但有些方面仍然没有探索。在这项工作中，我们建立在以前的分析，以显示查询字段的相互作用，非线性字段的相互作用，以及底层神经模型的架构如何影响性能。
2020-11-18 cs.AI cs.IR
Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations
Google（谷歌）；Google DeepMind（谷歌DeepMind）
针对推荐系统中随机哈希ID导致相似物品泛化困难的问题，提出使用RQ-VAE从内容嵌入学习的Semantic ID替代随机ID，通过哈希子片段适应工业级排序模型，在不牺牲整体质量下提升长尾物品泛化。
2024-05-30 cs.IR cs.LG
Optimizing Group-Fair Plackett-Luce Ranking Models for Relevance and Ex-Post Fairness
Indian Institute of Science（印度科学研究所）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Microsoft Research, Bengaluru（微软研究院班加罗尔分院）；Microsoft Research（微软研究院）
针对学习排序中仅优化相关性易引发表征损害、事前公平随机排序无法保障事后公平的问题，提出带事后表征约束的群体公平Plackett-Luce模型，在保证公平的同时提升相关性，隐式偏差场景下表现更优。
2023-08-25 cs.CY cs.IR cs.LG
Make Large Language Model a Better Ranker
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）
本文提出ALRO框架，通过引入soft lambda loss优化顺序关系并采用排列敏感学习机制解决位置偏差，弥合LLM能力与排序任务需求的差距，显著提升了基于LLM的推荐系统排序性能。
2024-09-27 cs.CL cs.IR cs.LG
Learning to Create Better Ads: Generation and Ranking Approaches for Ad Creative Refinement
Yahoo Research（雅虎研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
在在线广告行业中，设计广告创意的过程（即，广告文本和图像）需要手工劳动。通常，每个广告主通过在线A/B测试推出多个创意，以推断目标受众的有效创意，然后以迭代的方式进一步细化。由于此过程的手动性质，学习、改进和部署修改后的创意非常耗时。由于主要的广告平台通常并行运行多个广告主的A/B测试，我们探索通过多个广告主的A/B测试协作学习广告创意改进的可能性。特别是，给定一个输入广告创意，我们研究的方法来细化给定的广告文本和图像：（i）生成新的广告文本，（ii）推荐新的广告文本的关键词，以及（iii）推荐图像标签（图像中的对象），以选择新的广告图像。基于多个广告商进行的A/B测试，我们形成了劣质和优质广告创意的成对示例，并使用这些对来训练模型以完成上述任务。为了生成新的广告文本，我们展示了具有复制机制的编码器-解码器架构的功效，该机制允许将（较差的）输入文本中的一些单词复制到输出中，同时合并与更高点击率相关的新单词。对于关键词和图像标签推荐任务，我们证明了深度相关性匹配模型的有效性，以及与看不见的广告客户的冷启动场景中的广告文本生成相比，排名方法的相对鲁棒性。我们还分享了我们使用Yahoo Gemini广告平台数据进行的实验中获得的广泛适用的见解。
2020-12-02 cs.CL cs.IR cs.LG
