What Price Fairness? Evaluating Energy - Fairness - Accuracy Trade-off in Recommender Systems
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);ISISTAN, CONICET-UNCPBA(ISISTAN,阿根廷国家科学研究委员会-内乌肯国立大学)
本研究评估推荐系统中公平性干预的能耗成本,比较多种方法,发现公平性的绿色成本不统一,呼吁以准确性、公平性和计算成本三方权衡来评估公平感知推荐。
2026-09-09 cs.IR
Optimal Dataset Size for Recommender Systems: Evaluating Algorithms' Performance via Downsampling
本研究通过对7个数据集、12种算法和2个核心剪枝级别应用两种下采样方法,探索绿色推荐系统中能源效率与推荐质量的权衡,证明下采样可显著降低运行时间和碳排放,为节能推荐系统设计提供见解。
2025-02-14 cs.IR
Evaluating the Robustness of Conversational Recommender Systems by Adversarial Examples
Center for Intelligent Information Retrieval(智能信息检索中心);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
会话式推荐系统(CRS)正在迅速改善,根据标准的推荐准确性指标。然而,必须确保这些系统在与用户(包括想要通过向系统馈送修改的输入数据来攻击系统的常规和恶意用户)交互时是鲁棒的。在本文中,我们提出了一个对抗性的评估计划,包括两个类别的四个场景,并自动生成对抗性的例子,以评估这些系统在面对不同的输入数据的鲁棒性。通过执行这些对抗性示例,我们可以比较不同会话推荐系统满足用户偏好的能力。我们通过两个数据集上的对抗性示例评估了三个CRS。我们的研究结果表明,这些系统都是强大的和可靠的对抗性的例子。
2023-03-09 cs.AI cs.IR
Evaluating and Addressing Fairness Across User Groups in Negative Sampling for Recommender Systems
RMIT University(皇家墨尔本理工大学);ETH Zurich(苏黎世联邦理工学院)
针对推荐系统负采样因数据不平衡导致不活跃用户边缘化的问题,本文通过实证揭示现有策略的群体公平性缺陷,提出群体特异性负采样策略,实验证明其可提升用户侧公平性与整体性能。
2025-11-11 cs.IR
Evaluating Music Recommender Systems for Groups
ETH Zürich(苏黎世联邦理工学院)
向用户群推荐是一项具有挑战性的任务,目前只进行了粗略的研究。特别是评估方面经常出现ad-hoc,而不是真正评估用户组,通过合并个人偏好来合成组。在本文中,我们提出了一个用户的研究,记录个人和共享的喜好,实际组的参与者,从而在一个强大的,标准化的评估基准。使用这个基准数据集,我们与研究社区共享,我们比较了在
2017-07-31 cs.AI cs.HC cs.IR
Beyond Utility: Evaluating LLM as Recommender
Tsinghua University(清华大学);University of Waterloo(滑铁卢大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出多维评估框架,从历史长度敏感性、候选位置偏差、生成性能和幻觉四个新维度评估LLM推荐器,发现其在排序和重排序任务中优于传统模型,但存在位置偏差和幻觉问题。
2026-09-09 cs.IR
Evaluating Conversational Recommender Systems via Large Language Models: A User-Centric Framework
The Hong Kong Polytechnic University(香港理工大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);City University of Hong Kong(香港城市大学)
本文提出CoRE框架,通过大语言模型评估对话推荐系统,结合用户评价和多代理辩论,提升用户体验评估的准确性。
2026-01-24 cs.IR
OpenP5: An Open-Source Platform for Developing, Training, and Evaluating LLM-based Recommender Systems
本文提出开源平台 OpenP5,支持基于 T5、Llama-2 等 LLM 的生成式推荐系统开发、训练与评估,覆盖 10 个数据集、两类任务及三种物品索引方法。
2024-04-11 cs.IR
User and Recommender Behavior Over Time: Contextualizing Activity, Effectiveness, Diversity, and Fairness in Book Recommendation
本文对Goodreads的UCSD Book Graph数据集进行时间解释性分析,结合活动、多样性与公平性指标及滚动窗口协同过滤训练,揭示用户与推荐系统行为随时间的演变,并考察2011年引入算法推荐后的行为变化。
2025-05-07 cs.IR
Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems
Department of Artificial Intelligence, Yonsei University(延世大学人工智能系)
针对现有对话推荐系统评估依赖有目标偏差用户模拟器、仅关注单轮召回、忽略偏好挖掘过程的问题,提出基于真实用户数据的无目标评估协议PEPPER,可更准确评估CRS的偏好挖掘能力。
2025-10-22 cs.IR
On the Difficulty of Evaluating Baselines: A Study on Recommender Systems
Google Research(谷歌研究院);Google(谷歌)
在评价推荐系统中的研究时,与基线进行比较的数值评估起着核心作用。在本文中,我们表明,正确运行基线是困难的。我们在两个广泛研究的数据集上证明了这个问题。首先,我们表明,在过去五年中,许多出版物中使用的Movielens 10M基准基线的结果是次优的。通过仔细设置香草矩阵分解基线,我们不仅能够改进此基线的报告结果,甚至优于任何新提出的方法的报告结果。其次,我们回顾了社区为在Netflix Prize上获得简单方法的高质量结果所需的巨大努力。我们的研究结果表明,研究论文中的实证研究结果是值得怀疑的,除非它们是在标准化的基准上获得的,在这些基准上,研究界已经广泛地调整了基线。
2019-05-04 cs.IR cs.LG
Mobile recommender systems: Identifying the major concepts
本文确定了移动推荐系统的影响因素。推荐系统已经成为在存在信息过载问题的情况下被各种在线应用广泛使用的技术。电子商务、视频平台和社交网络等众多应用向其用户提供个性化推荐,这改善了用户体验和供应商收入。推荐系统的发展主要集中在提出新的算法,提供更准确的建议。然而,移动设备的使用以及互联网和网络基础设施的快速增长带来了使用移动推荐系统的必要性。网络和移动推荐系统之间的联系,以及如何在移动环境中的建议,可以改善描述。这项工作的重点是确定网络和移动推荐系统之间的联系,并提供坚实的未来方向,旨在导致在一个更集成的移动推荐域。
2018-05-06 cs.IR
Take a Fresh Look at Recommender Systems from an Evaluation Standpoint
本文从评估角度重新审视推荐系统,指出常用数据划分会导致流行度基线定义不清,并分析忽视全局时间线引发的数据泄漏与偏好建模简化问题,进而提出更贴近真实场景的评估与建模思路。
2023-04-25 cs.IR
Improving Reachability and Navigability in Recommender Systems
在本文中,我们从网络的角度研究推荐系统,并研究推荐网络,其中节点是项目(例如,电影)并且边缘从前N个推荐(例如,相关电影)。特别是,我们专注于评估的可达性和导航性的推荐网络和调查以下问题:(一)如何以及推荐网络支持导航和探索性搜索?(ii)参数,特别是不同的推荐算法和显示的推荐数量,对可达性和可导航性有什么影响?以及(iii)如何在这些网络中提高可达性和可导航性?我们首先通过调查推荐网络的结构特性来评估推荐网络的可达性,从而解决这些问题。其次,我们通过模拟三种不同的信息寻求场景模型来评估导航性。我们发现,与标准的算法,推荐系统不适合导航和探索,并提出了修改建议,以改善这一点的方法。我们的工作从基于单击的推荐系统评估扩展到多单击分析(即,序列的依赖点击),并提出了一个通用的,全面的方法来评估任意推荐网络的可导航性。
2015-07-29 cs.IR cs.SI
Evaluating Online Bandit Exploration In Large-Scale Recommender System
Meta AI
针对Bandit学习算法在A/B测试中因探索特性导致评估不公平的问题,将UCB应用于大规模短视频推荐系统,提出一种生产级测试框架及新指标,实现公平评估。
2023-07-30 cs.AI cs.IR cs.LG
Behavior Alignment: A New Perspective of Evaluating LLM-based Conversational Recommender Systems
University of Delaware(特拉华大学)
本文提出行为对齐这一新评估指标,用于衡量基于LLM的对话推荐系统与人类推荐者策略的一致性,并设计基于分类的隐式测量方法以降低人工标注成本,实验证明其优于现有指标。
2024-10-17 cs.AI cs.IR
Multi-Margin Cosine Loss: Proposal and Application in Recommender Systems
针对推荐系统对比学习中负样本利用不足和资源开销问题,本文提出多间隔余弦损失MMCL,通过多间隔与负样本加权提升有限资源下的推荐性能。
2024-09-10 cs.IR cs.LG
Optimized Recommender Systems with Deep Reinforcement Learning
Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
推荐系统一直是在线零售商的基石。传统上,它们基于规则、相关性分数、排名算法和监督学习算法,但现在可以使用强化学习算法来生成有意义的推荐。这项工作研究和开发的手段,以建立一个可重复的测试平台,并评估不同的国家的最先进的算法在一个现实的环境。它需要一个建议,文献综述,方法,结果和评论。
2021-10-06 cs.IR cs.LG
Decision-aware User Simulation Agent for Evaluating Conversational Recommender Systems
Department of Computer Science and Information Engineering(计算机科学与信息工程系)
本文提出Hesitator框架,通过模块化决策模块模拟人类在选择过载下的决策过程,实验表明其能有效缓解模拟器在高过载条件下的不现实行为,复现了心理学经济学中的行为模式。
2026-05-05 cs.AI cs.IR
Evaluating Recommender System Algorithms for Generating Local Music Playlists
Ithaca College(伊萨卡学院)
我们探索本地音乐推荐的任务:为听众提供个性化的播放列表的相关曲目的艺术家谁发挥他们的大部分现场活动在一个小的地理区域。大多数本地艺术家往往是默默无闻的长尾艺术家,并且通常很少或没有与他们相关的可用用户偏好数据。这就给基于协作过滤的推荐算法带来了一个冷启动问题,这些算法依赖于大量的此类信息来做出准确的推荐。在本文中,我们比较了三个标准的推荐系统算法(项目-项目邻域(IIN),交替最小二乘隐式反馈(ALS),贝叶斯个性化排名(BPR))的本地音乐推荐使用百万播放列表数据集的任务上的性能。要做到这一点,我们修改了标准的评估程序,使算法只排名轨道的本地艺术家为每个八个不同的城市。尽管基于矩阵分解(ALS,BPR)的技术通常在大型推荐任务中表现最好,但我们发现基于邻域的方法(IIN)在长尾本地音乐推荐中表现最好。
2019-07-17 cs.IR cs.LG stat.ML
KuaiRec: A Fully-observed Dataset and Insights for Evaluating Recommender Systems
推荐系统的进展主要受到评价的阻碍,因为它需要人与系统之间的实时交互,这太费力和昂贵。这个问题通常通过利用交互历史进行离线评估来解决。然而,现有的用户-项目交互数据集被部分观察到,因此尚不清楚缺失的交互将如何以及在多大程度上影响评估。为了回答这个问题,我们从快手的在线环境中收集了一个完全观察到的数据集,其中几乎所有1,411名用户都接触过所有3,327个项目。据我们所知,这是第一个真实世界中完全观察到的数据,其中包含数百万个用户-项目交互。利用这个独特的数据集,我们对数据密度和曝光偏差这两个因素如何影响多轮会话推荐的评估结果进行了初步分析。我们的主要发现是,不同方法的性能排名随这两个因素而变化,这种影响只能在某些情况下通过估计用户模拟的缺失交互来缓解。这证明了完全观察数据集的必要性。我们在https://kuairec.com上发布数据集和管道实现以供评估
2022-08-18 cs.HC cs.IR
Evaluating Ensemble Methods for News Recommender Systems
University of Leeds, School of Computing(利兹大学计算机学院)
针对新闻推荐系统多算法融合协同性研究空白,本文提出用集成方法组合多样前沿算法,在MIND数据集上验证了基学习器足够多样时性能可提升最高5%,并指出方法差异不足时无提升,为NRS集成方案优化提供参考。
2024-06-23 cs.AI cs.IR
A Distributed and Accountable Approach to Offline Recommender Systems Evaluation
已经开发了不同的软件工具,其目的是执行推荐系统的离线评估。然而,由于实验方案和指标的细微差异,使用这些工具获得的结果可能无法直接比较。此外,它是很难分析在相同的实验条件下的几个算法,而不公开其实现细节。出于这些原因,我们介绍RecLab,一个开源软件,用于以分布式方式评估推荐系统。通过依赖于整合的Web协议,我们创建了RESTful API,用于远程培训和查询服务器。通过这种方式,可以轻松地将使用不同技术实现的算法集成到同一工具包中。具体而言,实验者可以通过简单地访问RecLab提供的Web界面来执行评估。然后,该框架将与所有选定的度量进行交互,并计算和显示一组全面的度量,每个度量代表一个不同的度量。所有实验的结果都被永久保存并公开提供,以支持问责制和比较分析。
2018-10-11 cs.IR
Predictive accuracy of recommender algorithms
本文在受控实验中比较三种传统推荐算法与两种深度学习算法的预测准确性,发现深度学习算法表现较弱并探讨过拟合及正则化改进方向。
2024-06-26 cs.IR
Evaluating Recommendation Algorithms by Graph Analysis
我们提出了一个新的框架来评估推荐算法的“跳跃”,他们使人连接到文物。这种方法强调可达性通过一个算法内的隐式图结构的推荐数据集,并作为一个补充,以评估预测精度。该框架允许我们考虑算法参数与数据集属性相关的问题。例如,给定一个特定的算法“跳跃”,从人到工件的平均路径长度是多少?或者,什么样的最小评级和跳转选择可以保持一个连通图?我们说明了一个共同的跳跃称为“吊床”使用电影推荐数据集的方法。
2001-04-03 cs.DM cs.DS cs.IR
Evaluating User Experience in Conversational Recommender Systems: A Systematic Review Across Classical and LLM-Powered Approaches
School of Computer Science, University of Technology Sydney(技术科技大学计算机科学学院);The Applied College, King Abdulaziz University(国王阿卜杜勒阿齐兹大学应用学院);Australian Institute of Health Innovation, Macquarie University(麦考瑞大学健康创新研究所)
本综述基于PRISMA方法分析2017-2025年间23项实证研究,揭示对话式推荐系统用户体验评估存在事后调查主导、情感构念缺失及自适应行为关联不足等问题,并提出面向LLM的评估议程。
2025-08-06 cs.AI cs.HC cs.IR
Evaluating recommender systems for AI-driven biomedical informatics
Institute for Biomedical Informatics(生物医学信息学研究所);University of Pennsylvania(宾夕法尼亚大学)
动机:由于缺乏机器学习和/或编码专业知识,许多具有领域专业知识的研究人员无法轻松地将机器学习应用于其生物信息学数据。到目前为止,已经提出的自动化机器学习的方法大多需要编程经验以及正确调整和应用算法的专家知识。在这里,我们研究了一种使用基于Web的平台来自动化生物医学数据科学的方法,该平台使用AI来推荐模型选择并进行实验。我们有两个目标:第一,使构建生物医学过程的复杂模型变得容易;第二,提供一个完全自动化的人工智能智能体,它可以根据用户的实验以及先验知识为用户选择和进行有希望的实验。为了验证这个框架,我们对数百个分类问题进行了实验,并与最先进的自动化方法进行了比较。最后,我们使用这个工具来开发重症监护患者感染性休克的预测模型。结果:我们发现基于矩阵分解的推荐系统在自动化机器学习方面优于元学习方法。这一结果反映了早期推荐系统在其他领域的研究结果。在为数据集选择最佳算法配置方面,所提出的AI与最先进的自动化机器学习方法具有竞争力。在我们预测感染性休克的应用中,人工智能驱动的分析产生了一个有能力的机器学习模型(AUROC 0.85 +/- 0.02),该模型的性能与最先进的深度学习结果相当,并且计算量要少得多。
2020-04-28 cs.IR cs.LG
Accelerated learning from recommender systems using multi-armed bandit
推荐系统是许多在线市场的重要组成部分,其中通常有数百万个项目潜在地呈现给具有各种需求或需求的用户。考虑到数据中所有固有的偏见,评估推荐系统算法是一项艰巨的任务,成功的公司必须能够快速改进他们的解决方案,以保持他们的竞争优势。评估推荐算法的黄金标准一直是A/B测试,因为它是一种无偏的方法来估计一个或多个算法在现实世界中的比较结果。然而,A/B测试存在许多问题,使其成为唯一的测试方法变得不切实际,包括较长的交付时间和较高的探索成本。我们认为多武装强盗(MAB)测试可以解决这些问题。我们展示了如何在生产系统中实施MAB解决方案,作为离线和在线A/B测试之间的额外步骤。我们展示了我们的实验结果,并比较了我们用例的所有离线、MAB和在线A/B测试指标。
2019-08-16 cs.IR cs.LG
Evaluating ChatGPT as a Recommender System: A Rigorous Approach
Polytechnic University of Bari(巴里理工大学)
本文提出一种稳健的评估流程,在零样本条件下全面评估ChatGPT作为推荐系统在Top-N推荐、冷启动和重排序任务中的表现,并考量幻觉、重复及超越准确性指标。
2024-06-04 cs.AI cs.CL cs.IR
Towards a Real-World Aligned Benchmark for Unlearning in Recommender Systems
BIFOLD(柏林数据科学与学习中心);TU Berlin(柏林工业大学);University of Amsterdam(阿姆斯特丹大学)
本文指出现有推荐系统去学习基准脱离实际,提出涵盖多任务和真实场景的新基准设计期望,并通过初步实验验证定制去学习算法在序列推荐中显著优于通用算法且延迟极低。
2025-09-18 cs.IR
Generating Diverse Synthetic Datasets for Evaluation of Real-life Recommender Systems
Faculty of Computer and Information Science(计算机与信息科学学院)
本文提出一个模块化开源 Python 框架,用于生成统计一致、可定制的高维稀疏合成类别数据集,支持推荐系统的算法基准测试、偏见检测与 AutoML 搜索评估。
2024-11-27 cs.AI cs.IR
Designing and Evaluating an Educational Recommender System with Different Levels of User Control
本研究设计并评估了一个具有不同用户控制水平的教育推荐系统,通过在线用户研究(N=30)发现用户控制能提升用户感知益处,并与透明度强相关、与信任和满意度中等相关。
2025-01-22 cs.CY cs.HC cs.IR
Distributionally-Informed Recommender System Evaluation
本文主张在推荐系统评估中需关注效用分布与不确定性来源,强调利用分布思维设计评估过程,以确保系统公平分配收益。
2023-09-12 cs.HC cs.IR
Evaluating Document Representations for Content-based Legal Literature Recommendations
Open Legal Data(开放法律数据);German Research Center for Artificial Intelligence(德国人工智能研究中心);ETH Zurich(苏黎世联邦理工学院);University of Wuppertal(伍珀塔尔大学)
推荐系统帮助法律专业人士找到相关文献来支持他们的案件。尽管它的重要性的专业,法律应用并没有反映在推荐系统和表示学习研究的最新进展。同时,法律推荐系统通常在没有任何公共基准数据集的情况下在小规模用户研究中进行评估。因此,这些研究的重现性有限。为了解决研究与实践之间的差距,我们探索了一套国家的最先进的文件表示方法检索语义相关的美国判例法的任务。我们评估基于文本的(例如,fastText、Transformers)、基于引用的(例如,DeepWalk,Poincaré)和混合方法。我们使用两种银标准对2,964份文件进行了注释,共比较了27种方法。银标准是从Open Case Book和Wikispecies新创建的,可以在开放许可下重复使用,以促进可重复性。我们的实验表明,来自平均fastText单词向量(在法律语料库上训练)的文档表示产生了最好的结果,紧随其后的是庞加莱引用嵌入。以混合方式组合fastText和Poincaré进一步改善了整体结果。除了整体性能外,我们还根据文档长度,引用计数和建议的覆盖范围分析了这些方法。我们在https://github.com/malteos/legal-document-similarity/上公开我们的源代码、模型和数据集。
2021-04-28 cs.CL cs.IR
Do Offline Metrics Predict Online Performance in Recommender Systems?
University of California, Berkeley(加州大学伯克利分校)
推荐系统在固有的动态设置中操作。过去的建议会影响未来的行为,包括观察哪些数据点以及用户偏好如何变化。然而,在生产系统中使用真实的用户动态进行实验通常是不可行的,并且现有的基于模拟的方法具有有限的规模。因此,许多最先进的算法被设计用于解决监督学习问题,并且仅通过离线度量来判断进度。在这项工作中,我们调查在何种程度上离线指标预测在线性能,通过评估11个在六个受控的模拟环境中。我们观察到,离线指标与在线性能在一系列的环境。然而,离线指标的改进导致在线性能的回报递减。此外,我们观察到,排名的变化取决于初始离线数据的数量。我们研究了增加探索策略的影响,并观察到它们的有效性,相比贪婪的建议,是高度依赖于推荐算法。我们提供了本文中所描述的环境和仿真器Reclab:一个可扩展的即用型仿真框架,网址为https://github.com/berkeley-reclab/RecLab。
2020-11-07 cs.IR cs.LG
SteerEval: A Framework for Evaluating Steerability with Natural Language Profiles for Recommendation
Cornell University(康奈尔大学);Ithaca College(伊萨卡学院)
SteerEval通过自然语言配置文件评估推荐系统的可操控性,分析不同干预措施对操控效果的影响,并提出设计建议。
2026-01-28 cs.AI cs.CL cs.HC
Candidate Set Sampling for Evaluating Top-N Recommendation
本文研究离线Top-N推荐评估中候选集采样策略与流行度偏差的交互,并通过仿真验证采样候选集能否降低指标估计偏差。
2023-09-21 cs.IR
Revealing the Hidden Impact of Top-N Metrics on Optimization in Recommender Systems
本文通过穷举评估250种项目选择策略,揭示Top-N指标优化中仅选Top-N项目并非最优,存在其他策略可提升推荐性能,但前约43%的策略无显著差异。
2024-01-16 cs.IR
Can Offline Metrics Measure Explanation Goals? A Comparative Survey Analysis of Offline Explanation Metrics in Recommender Systems
Insight Centre for Data Analytics, School of Computer Science and IT, University College Cork(科克大学计算机科学与信息技术学院数据洞察中心)
本文探讨了推荐系统中离线解释指标是否能有效衡量解释目标,通过比较不同算法和用户研究,发现解释效果受多样性、流行度等感知影响,需进一步优化指标以更贴近用户需求。
2025-12-16 cs.IR
Interactive Content Diversity and User Exploration in Online Movie Recommenders: A Field Experiment
本研究通过访谈、调研及在线现场实验,探究电影推荐系统的推荐广度与用户满意度的关系,发现探索控制权和界面对满意度的预测作用更强。
2023-09-23 cs.HC cs.IR
Are Recommenders Self-Aware? Label-Free Recommendation Performance Estimation via Model Uncertainty
DCST, Tsinghua University(清华大学人工智能研究院);AIR, Tsinghua University(清华大学人工智能研究院)
本文研究推荐系统的自我感知能力,提出基于概率的列表分布不确定性(LiDu)方法,通过无标签方式估计推荐性能,实验证明其相关性优于现有估计器,为构建透明可自评估的推荐系统提供支撑。
2025-07-31 cs.IR cs.LG
Towards Creating a Standardized Collection of Simple and Targeted Experiments to Analyze Core Aspects of the Recommender Systems Problem
想象一下,您是一名老师,试图评估学生在特定学科的水平。如果你设计了一个只有难的问题的测试,而学生失败了,这主要证明学生不理解更高级的材料。一个更有见地的考试将包括不同类型的问题,不同的难度,真正了解学生的弱点和优势,从不同的角度。在推荐系统(RS)领域,我们通常会设计评估来衡量算法在复杂场景中优化目标的能力,这些场景代表了系统最有可能面临的现实挑战。然而,本文假设,测试算法解决简单和复杂任务/问题的能力将提供更详细的性能视图,以帮助在更细粒度的级别上识别解决方案在面对不同场景/领域时的弱点和优势。我们相信RS社区将从创建一系列标准化、简单且有针对性的实验中受益匪浅,这些实验就像一套“单元测试”一样,将单独评估算法解决核心挑战的能力,这些挑战构成了复杂的RS任务。更重要的是,这些实验超越了传统的通过/失败“单元测试“。针对实验集合运行算法允许研究人员凭经验分析算法在哪种类型的设置中表现最好以及在不同度量下表现到什么程度。我们不仅捍卫这一立场,在本文中,我们还提出了如何定义和共享这些简单而有针对性的实验的建议,并提出了使该项目成为现实的潜在后续步骤。
2021-10-08 cs.IR
All You Need is Ratings: A Clustering Approach to Synthetic Rating Datasets Generation
包含用户偏好的集合的公开可用性对于在推荐系统领域中执行离线评估是至关重要的。然而,评级数据集的数量是有限的,因为它们的创建所需的成本和担心通过共享它们侵犯用户的隐私。出于这个原因,许多研究尝试调查使用生成方法创建综合评级集合。然而,这些数据集通常不够可靠,无法开展评价活动。在本文中,我们提出了一种方法来创建合成数据集与可配置的用户数量,模仿现有的特征。我们经验验证了所提出的方法,利用合成数据集评估不同的生物,并通过比较使用真实数据集获得的结果。
2019-09-02 cs.IR
Bi-NAS: Towards Effective and Personalized Explanation for Recommender Systems via Bi-Level Neural Architecture Search
Virginia Tech(弗吉尼亚理工大学);Google(谷歌);Amazon(亚马逊)
提出Bi-NAS框架,通过双层神经架构搜索优化推荐解释,结合大语言模型生成个性化理由,提升准确性和解释效果。
2026-07-03 cs.IR cs.LG
Towards a Signal Detection Based Measure for Assessing Information Quality of Explainable Recommender Systems
本文提出一种基于信号检测理论的客观度量Veracity,通过Fidelity和Attunement两个维度评估可解释推荐系统解释内容的信息质量,并通过四组不同质量水平的案例验证了该度量的有效性。
2025-07-01 cs.HC cs.IR
FedSlate:A Federated Deep Reinforcement Learning Recommender System
School of Electronic and Electrical Engineering, Shanghai University of Engineering Science(上海工程技术大学电子与电气工程学院);INFLY TECH (Shanghai) Co., Ltd.(INFLY TECH(上海)有限公司);School of Engineering, Westlake University(西湖大学工程学院)
针对现有强化学习推荐系统未挖掘跨平台用户行为关联、中心化数据聚合存隐私与成本问题,该研究提出联邦强化学习推荐算法FedSlate,结合SlateQ与联邦学习实现单用户多平台推荐,实验验证其性能优于前沿基准模型。
2025-04-28 cs.AI cs.IR
Modeling Online Behavior in Recommender Systems: The Importance of Temporal Context
Swisscom(瑞士电信);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Symphony
推荐系统的研究倾向于离线和随机采样目标上评估模型性能,但相同的系统后来被用来从固定的时间点顺序预测用户行为。模拟在线推荐系统的性能是出了名的困难,在线和离线行为之间的差异通常不占离线评估。这种差异使得在模型部署到生产环境中之前,这些弱点不会被注意到。在本文中,我们首先演示了如何忽略时间上下文时,评估推荐系统的性能导致虚假的信心。为了克服这一点,我们假设离线评估协议只能在考虑时间上下文的情况下对现实生活中的用例进行建模。接下来,我们提出了一个训练过程,以进一步将时间上下文嵌入现有模型中。我们使用一个多目标的方法来引入时间上下文到传统的时间不知道的推荐系统,并确认其优势,通过建议的评估协议。最后,我们验证了增加的目标获得的帕累托前沿占主导地位的国家的最先进的模型,只优化了三个真实世界的公开可用的数据集的准确性。结果表明,包括我们的时间目标可以将recall@20提高20%。
2021-09-05 cs.AI cs.IR cs.LG
TayFCS: Towards Light Feature Combination Selection for Deep Recommender Systems
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出轻量级特征组合选择方法 TayFCS,通过泰勒展开评分器和逻辑回归消除高效筛选高阶特征组合,在三个基准数据集和在线 A/B 测试中验证了其有效性与商业价值。
2025-07-05 cs.AI cs.IR
Advancements in Recommender Systems: A Comprehensive Analysis Based on Data, Algorithms, and Evaluation
Nankai University(南开大学);Beijing Xiaomi Mobile Software Co.(北京小米移动软件有限公司);Jingdong Retail(京东零售)
基于286篇文献的系统综述,本文从数据、算法和评估三个维度分析了推荐系统面临的冷启动、数据中毒、兴趣漂移等挑战,并提出了融合生理信号、微调大模型、深度强化学习等可行解决方案以释放其潜力。
2024-07-10 cs.IR cs.LG
Fairness in Recommendation Ranking through Pairwise Comparisons
Google(谷歌)
推荐系统是工业中机器学习最普遍的应用之一,许多服务使用它们来将用户与产品或信息相匹配。因此,重要的是要问:什么是可能的公平风险,我们如何量化它们,以及我们应该如何解决它们?在本文中,我们提供了一套新的度量标准,用于评估算法公平性的关注推荐系统。特别是,我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上,我们提供了一个新的正则化器,以鼓励在模型训练期间改进此指标,从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统,并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
RobustExplain: Evaluating Robustness of LLM-Based Explanation Agents for Recommendation
Workday
RobustExplain提出首个评估框架,用于衡量LLM生成推荐解释的鲁棒性,揭示当前模型鲁棒性较低,较大模型稳定性更高。
2026-02-03 cs.AI cs.IR cs.LG
Algorithmic Drift: A Simulation Framework to Study the Effects of Recommender Systems on User Preferences
University of Calabria(卡拉布里亚大学);ICAR-CNR(意大利国家研究委员会ICAR研究所);Revelis s.r.l.(Revelis有限责任公司);University of Udine(乌迪内大学);Spotify(Spotify公司);University of Pisa(比萨大学);CENTAI(CENTAI研究院)
本文提出了一个随机仿真框架,通过形式化包含用户抵抗力和依赖惯性的用户模型,模拟长期用户与推荐系统交互,并引入两个新指标量化算法对用户偏好随时间漂移的影响,为部署前评估推荐算法提供了受控环境。
2024-09-24 cs.AI cs.IR cs.SI
Advancing Model Research in AgentX: Long-Horizon Autonomy for Industrial Recommender Systems
AgentX-Model通过双智能体架构和四个研究动作,在工业推荐系统中实现长时程自主模型研究,生产评估中560/636实验AUC超基线,在线A/B测试带来多项业务收益。
2026-09-25 cs.AI cs.IR
Bradley-Terry Rankings for Recommender Systems Across Dataset Taxonomies
HSE University(俄罗斯莫斯科国立高等经济学院)
针对推荐算法排名对数据集特性敏感的问题,提出基于Bradley-Terry模型的数据驱动排名方法,并引入排名一致性指标和针对未见数据集的算法排名方法。
2026-06-05 cs.IR cs.LG stat.ML