Leave No User Behind: Towards Improving the Utility of Recommender Systems for Non-mainstream Users
在协作过滤推荐场景中，数据中的偏差可能会在学习的推荐中传播。在本文中，我们专注于所谓的主流偏见：倾向于推荐系统提供更好的推荐给用户谁有主流的口味，而不是非主流用户。我们提出NAECF，一个概念上简单但有效的想法来解决这种偏见。该思想包括在使用基于文本的卷积神经网络学习用户和项目表示时添加自动编码器（AE）层。AE，一个用于用户，一个用于项目，在学习如何推荐时充当最小化评级预测误差的过程的对手。它们要求所有用户和项目的特定独特属性都充分地融入并保存在学习的表示中。这些表示，提取相应的AE的瓶颈，预计将不太偏向主流用户，并提供更平衡的推荐效用在所有用户。我们的实验结果证实了这些预期，显着提高了非主流用户的建议，同时保持主流用户的推荐质量。我们的研究结果强调了部署广泛的基于内容的功能（如在线评论）的重要性，以便更好地代表用户和项目，以最大限度地提高去偏见效果。
2021-02-02 cs.IR
Evaluating Conversational Recommender Systems: A Landscape of Research
会话式推荐系统旨在以直观的方式交互式地支持在线用户的信息搜索和决策过程。随着语音控制设备、自然语言处理和人工智能的最新进展，近年来此类系统受到了越来越多的关注。从技术上讲，会话机器人通常是复杂的多组件应用程序，通常由多个机器学习模型和一个自然语言用户界面组成。因此，以整体方式评估这样一个复杂的系统可能具有挑战性，因为它需要（i）评估不同学习组件的质量，以及（ii）用户对整个系统的质量感知。因此，往往需要一种混合方法的方法，它可以结合客观（计算）和主观（感知导向）的评估技术。在本文中，我们回顾了会话推荐系统的常见评估方法，确定可能的局限性，并概述了未来更全面的评估实践的方向。
2022-10-28 cs.HC cs.IR
Towards Fast Domain Adaptation and Fine-Grained User Simulation for Evaluating Conversational Recommender Systems
Renmin University of China（中国人民大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出AdaptSim框架，通过自动提示生成和开放动作机制实现快速领域自适应，采用“思考-响应”策略控制语言风格，并基于广度优先搜索的逐轮对比评估对话推荐系统。
2026-06-24 cs.IR
What Price Fairness? Evaluating Energy - Fairness - Accuracy Trade-off in Recommender Systems
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；ISISTAN, CONICET-UNCPBA（ISISTAN，阿根廷国家科学研究委员会-内乌肯国立大学）
本研究评估推荐系统中公平性干预的能耗成本，比较多种方法，发现公平性的绿色成本不统一，呼吁以准确性、公平性和计算成本三方权衡来评估公平感知推荐。
2026-09-09 cs.IR
Optimal Dataset Size for Recommender Systems: Evaluating Algorithms' Performance via Downsampling
本研究通过对7个数据集、12种算法和2个核心剪枝级别应用两种下采样方法，探索绿色推荐系统中能源效率与推荐质量的权衡，证明下采样可显著降低运行时间和碳排放，为节能推荐系统设计提供见解。
2025-02-14 cs.IR
Price and Profit Awareness in Recommender Systems
TU Dortmund（多特蒙德工业大学）；University of Minnesota（明尼苏达大学）
学术界对推荐系统的研究主要集中在如何通过为每个用户确定最相关的项目来最大化用户的效用。然而，这些项目不一定是最大化服务提供商效用的项目（例如，在线零售商）在商业价值方面，例如利润。增加供应商效用的一种方法是纳入面向购买的信息，例如，价格，销售概率，以及由此产生的利润，到推荐算法。在本文中，我们特别关注价格和利润感知的推荐系统。我们提供了一个简短的概述，相关文献和数值模拟来说明这种方法的潜在商业利益。
2017-07-25 cs.AI cs.IR
Evaluating the Robustness of Conversational Recommender Systems by Adversarial Examples
Center for Intelligent Information Retrieval（智能信息检索中心）；Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
会话式推荐系统（CRS）正在迅速改善，根据标准的推荐准确性指标。然而，必须确保这些系统在与用户（包括想要通过向系统馈送修改的输入数据来攻击系统的常规和恶意用户）交互时是鲁棒的。在本文中，我们提出了一个对抗性的评估计划，包括两个类别的四个场景，并自动生成对抗性的例子，以评估这些系统在面对不同的输入数据的鲁棒性。通过执行这些对抗性示例，我们可以比较不同会话推荐系统满足用户偏好的能力。我们通过两个数据集上的对抗性示例评估了三个CRS。我们的研究结果表明，这些系统都是强大的和可靠的对抗性的例子。
2023-03-09 cs.AI cs.IR
Evaluating and Addressing Fairness Across User Groups in Negative Sampling for Recommender Systems
RMIT University（皇家墨尔本理工大学）；ETH Zurich（苏黎世联邦理工学院）
针对推荐系统负采样因数据不平衡导致不活跃用户边缘化的问题，本文通过实证揭示现有策略的群体公平性缺陷，提出群体特异性负采样策略，实验证明其可提升用户侧公平性与整体性能。
2025-11-11 cs.IR
Evaluating Music Recommender Systems for Groups
ETH Zürich（苏黎世联邦理工学院）
向用户群推荐是一项具有挑战性的任务，目前只进行了粗略的研究。特别是评估方面经常出现ad-hoc，而不是真正评估用户组，通过合并个人偏好来合成组。在本文中，我们提出了一个用户的研究，记录个人和共享的喜好，实际组的参与者，从而在一个强大的，标准化的评估基准。使用这个基准数据集，我们与研究社区共享，我们比较了在
2017-07-31 cs.AI cs.HC cs.IR
Towards Content Provider Aware Recommender Systems: A Simulation Study on the Interplay between User and Provider Utilities
Stanford University（斯坦福大学）；Google（谷歌）
大多数现有的推荐系统主要关注用户与内容的匹配，以最大限度地提高平台上的用户满意度。然而，越来越明显的是，内容提供方通过内容创建对用户满意度具有关键影响，在很大程度上决定了可用于推荐的内容池。因此，一个自然的问题出现了：我们是否可以设计考虑到用户和内容提供方的长期效用的路由器？通过这样做，我们希望维持更多的供应商和更多样化的内容池，以获得长期的用户满意度。了解建议对用户和提供者群体的全面影响是一项挑战。本文的目的是作为一个研究调查的一种方法，建立一个供应商意识的推荐，并评估其影响，在模拟设置。为了描述用户-推荐者-提供者的相互依赖关系，我们还通过形式化提供者动态来补充用户建模。由此产生的联合动力系统产生了一个弱耦合的部分可观察的马尔可夫决策过程驱动的推荐行动和用户反馈给供应商。然后，我们建立了一个REINFORCE推荐代理，创造EcoAgent，以优化用户效用和与推荐内容相关的提供商的反事实效用提升的联合目标，我们证明这相当于在一些温和的假设下最大化整体用户效用和平台上所有提供商的效用。为了评估我们的方法，我们引入了一个模拟环境捕捉用户，供应商和推荐之间的关键互动。我们提供了一些模拟实验，阐明了我们的方法的好处和局限性。这些结果有助于了解如何以及何时供应商意识的推荐代理是有益的，在建设多利益相关者的推荐系统。
2021-05-06 cs.IR cs.LG
Evaluating Conversational Recommender Systems via Large Language Models: A User-Centric Framework
The Hong Kong Polytechnic University（香港理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；City University of Hong Kong（香港城市大学）
本文提出CoRE框架，通过大语言模型评估对话推荐系统，结合用户评价和多代理辩论，提升用户体验评估的准确性。
2026-01-24 cs.IR
OpenP5: An Open-Source Platform for Developing, Training, and Evaluating LLM-based Recommender Systems
本文提出开源平台 OpenP5，支持基于 T5、Llama-2 等 LLM 的生成式推荐系统开发、训练与评估，覆盖 10 个数据集、两类任务及三种物品索引方法。
2024-04-11 cs.IR
User and Recommender Behavior Over Time: Contextualizing Activity, Effectiveness, Diversity, and Fairness in Book Recommendation
本文对Goodreads的UCSD Book Graph数据集进行时间解释性分析，结合活动、多样性与公平性指标及滚动窗口协同过滤训练，揭示用户与推荐系统行为随时间的演变，并考察2011年引入算法推荐后的行为变化。
2025-05-07 cs.IR
Stop Playing the Guessing Game! Target-free User Simulation for Evaluating Conversational Recommender Systems
针对现有对话推荐系统评估依赖有目标偏差用户模拟器、仅关注单轮召回、忽略偏好挖掘过程的问题，提出基于真实用户数据的无目标评估协议PEPPER，可更准确评估CRS的偏好挖掘能力。
2025-10-22 cs.IR
A Production-Ready RL Framework for Personalized Utility Tuning with Pareto Sweeping in Pinterest Recommender Systems
Pinterest Inc.（Pinterest公司）
本文提出PRL-PUTS框架，通过将效用调节转化为价值基强化学习问题，实现个性化效用权重调节，利用帕累托前沿扫描可视化性能并支持实时政策更新，提升了推荐系统用户参与度。
2026-05-08 cs.IR cs.LG
On the Difficulty of Evaluating Baselines: A Study on Recommender Systems
Google Research（谷歌研究院）；Google（谷歌）
在评价推荐系统中的研究时，与基线进行比较的数值评估起着核心作用。在本文中，我们表明，正确运行基线是困难的。我们在两个广泛研究的数据集上证明了这个问题。首先，我们表明，在过去五年中，许多出版物中使用的Movielens 10M基准基线的结果是次优的。通过仔细设置香草矩阵分解基线，我们不仅能够改进此基线的报告结果，甚至优于任何新提出的方法的报告结果。其次，我们回顾了社区为在Netflix Prize上获得简单方法的高质量结果所需的巨大努力。我们的研究结果表明，研究论文中的实证研究结果是值得怀疑的，除非它们是在标准化的基准上获得的，在这些基准上，研究界已经广泛地调整了基线。
2019-05-04 cs.IR cs.LG
Improving Reachability and Navigability in Recommender Systems
在本文中，我们从网络的角度研究推荐系统，并研究推荐网络，其中节点是项目（例如，电影）并且边缘从前N个推荐（例如，相关电影）。特别是，我们专注于评估的可达性和导航性的推荐网络和调查以下问题：（一）如何以及推荐网络支持导航和探索性搜索？(ii)参数，特别是不同的推荐算法和显示的推荐数量，对可达性和可导航性有什么影响？以及（iii）如何在这些网络中提高可达性和可导航性？我们首先通过调查推荐网络的结构特性来评估推荐网络的可达性，从而解决这些问题。其次，我们通过模拟三种不同的信息寻求场景模型来评估导航性。我们发现，与标准的算法，推荐系统不适合导航和探索，并提出了修改建议，以改善这一点的方法。我们的工作从基于单击的推荐系统评估扩展到多单击分析（即，序列的依赖点击），并提出了一个通用的，全面的方法来评估任意推荐网络的可导航性。
2015-07-29 cs.IR cs.SI
Evaluating Online Bandit Exploration In Large-Scale Recommender System
Meta AI
针对Bandit学习算法在A/B测试中因探索特性导致评估不公平的问题，将UCB应用于大规模短视频推荐系统，提出一种生产级测试框架及新指标，实现公平评估。
2023-07-30 cs.AI cs.IR cs.LG
Behavior Alignment: A New Perspective of Evaluating LLM-based Conversational Recommender Systems
University of Delaware（特拉华大学）
本文提出行为对齐这一新评估指标，用于衡量基于LLM的对话推荐系统与人类推荐者策略的一致性，并设计基于分类的隐式测量方法以降低人工标注成本，实验证明其优于现有指标。
2024-10-17 cs.AI cs.IR
Confidence Calibration for Recommender Systems and Its Applications
本论文针对推荐系统置信度度量被忽视的问题，提出基于排序分数的模型校准框架，并展示其在知识蒸馏和呈现条目数量调整中的两个实际应用。
2024-02-26 cs.IR
Revisiting Popularity and Demographic Biases in Recommender Evaluation and Effectiveness
The University of Manchester（曼彻斯特大学）；Microsoft（微软公司）
推荐算法容易受到流行偏见的影响：即使不能满足用户需求，也倾向于推荐流行的项目。一个相关的问题是，推荐质量可能因人口统计组而异。边缘化的组或在训练数据中代表不足的组可能从这些算法接收到与其他算法相比不太相关的推荐。在最近的一项研究中，Ekstrand等人调查了推荐器的性能如何根据流行度和人口统计数据而变化，并发现两个数据集上的二元性别之间的推荐效用存在统计学显著差异，并且基于年龄对一个数据集产生显著影响。在这里，我们重现这些结果，并扩展他们与其他分析。我们发现，年龄和性别的推荐性能的统计显着差异。我们观察到，老年用户的推荐效用稳步下降，女性的推荐效用低于男性。我们还发现，对于来自数据集中具有更多代表性的国家的用户，效用更高。此外，我们发现，消费内容的总使用量和受欢迎程度是推荐性能的强预测因子，并且在不同的人口统计群体中也有显着差异。
2021-10-15 cs.AI cs.IR cs.LG
U-rank: Utility-oriented Learning to Rank with Implicit Feedback
学习排序是许多现实世界信息系统中最重要的任务之一，其中目标是一些特定的效用，例如，点击和收入。然而，我们指出，现有的方法基于概率排序原则不一定达到最高的效用。为此，我们提出了一种新的排名框架，称为U-排名，直接优化的预期效用的排名列表。通过一个位置感知的深度点击率预测模型，我们解决了同时考虑查询级和项目级特征的注意偏差。由于项目特定的注意力偏差模型，预期效用的优化对应于项目位置二分图上的最大权重匹配。我们基于一个有效的Lambdaloss框架，这是支持理论和实证分析的优化这一目标。我们在三个基准数据集和两个专有数据集上对网络搜索和推荐系统进行了广泛的实验，其中展示了U-排名在最先进技术上的性能增益。此外，我们提出的U-排名已部署在一个大规模的商业推荐和生产基线的大幅度改善已被观察到在在线A/B测试。
2020-11-01 cs.IR
The TagRec Framework as a Toolkit for the Development of Tag-Based Recommender Systems
推荐系统已经成为支持用户在过载的信息空间中识别相关内容的重要工具。为了简化推荐系统的开发，已经提出了许多推荐框架，这些推荐框架服务于广泛的应用领域。我们的TagRec框架是少数几个面向开发和评估基于标签的推荐系统的开源框架的例子之一。在本文中，我们介绍了TagRec的当前更新状态，并总结和反思了使用TagRec实现的四个用例：（i）标签建议，（ii）资源建议，（iii）建议评估，以及（iv）主题标签建议。迄今为止，TagRec服务于两个大型欧洲研究项目中基于标签的推荐系统的开发和/或评估过程，这些研究项目已在17篇研究论文中进行了描述。因此，我们相信这项工作是基于标签的推荐系统的研究人员和从业者的兴趣。
2019-01-02 cs.IR
Decision-aware User Simulation Agent for Evaluating Conversational Recommender Systems
Department of Computer Science and Information Engineering（计算机科学与信息工程系）
本文提出Hesitator框架，通过模块化决策模块模拟人类在选择过载下的决策过程，实验表明其能有效缓解模拟器在高过载条件下的不现实行为，复现了心理学经济学中的行为模式。
2026-05-05 cs.AI cs.IR
System-2 Recommenders: Disentangling Utility and Engagement in Recommendation Systems via Temporal Point-Processes
FAIR at Meta（Meta FAIR实验室）
本文提出一种基于时间点过程的生成模型，通过自激Hawkes过程解耦用户System-1冲动与System-2效用决策，利用用户返回平台的概率推断真实效用，实现基于效用而非单纯参与度的内容优化。
2024-05-29 cs.IR cs.LG stat.ML
Algorithmic Collusion or Competition: the Role of Platforms' Recommender Systems
University of Washington（华盛顿大学）
本研究提出一个整合搜索模型与推荐算法的重复博弈框架，通过数值实验发现：收入最大化的推荐系统加剧算法合谋，而效用最大化的推荐系统促进竞争，且推荐集增大在效用最大化下可能降低消费者效用，水平差异化调节该效应。
2024-12-15 cs.AI cs.IR econ.GN
Evaluating Recommender System Algorithms for Generating Local Music Playlists
Ithaca College（伊萨卡学院）
我们探索本地音乐推荐的任务：为听众提供个性化的播放列表的相关曲目的艺术家谁发挥他们的大部分现场活动在一个小的地理区域。大多数本地艺术家往往是默默无闻的长尾艺术家，并且通常很少或没有与他们相关的可用用户偏好数据。这就给基于协作过滤的推荐算法带来了一个冷启动问题，这些算法依赖于大量的此类信息来做出准确的推荐。在本文中，我们比较了三个标准的推荐系统算法（项目-项目邻域（IIN），交替最小二乘隐式反馈（ALS），贝叶斯个性化排名（BPR））的本地音乐推荐使用百万播放列表数据集的任务上的性能。要做到这一点，我们修改了标准的评估程序，使算法只排名轨道的本地艺术家为每个八个不同的城市。尽管基于矩阵分解（ALS，BPR）的技术通常在大型推荐任务中表现最好，但我们发现基于邻域的方法（IIN）在长尾本地音乐推荐中表现最好。
2019-07-17 cs.IR cs.LG stat.ML
KuaiRec: A Fully-observed Dataset and Insights for Evaluating Recommender Systems
推荐系统的进展主要受到评价的阻碍，因为它需要人与系统之间的实时交互，这太费力和昂贵。这个问题通常通过利用交互历史进行离线评估来解决。然而，现有的用户-项目交互数据集被部分观察到，因此尚不清楚缺失的交互将如何以及在多大程度上影响评估。为了回答这个问题，我们从快手的在线环境中收集了一个完全观察到的数据集，其中几乎所有1，411名用户都接触过所有3，327个项目。据我们所知，这是第一个真实世界中完全观察到的数据，其中包含数百万个用户-项目交互。利用这个独特的数据集，我们对数据密度和曝光偏差这两个因素如何影响多轮会话推荐的评估结果进行了初步分析。我们的主要发现是，不同方法的性能排名随这两个因素而变化，这种影响只能在某些情况下通过估计用户模拟的缺失交互来缓解。这证明了完全观察数据集的必要性。我们在https://kuairec.com上发布数据集和管道实现以供评估
2022-08-18 cs.HC cs.IR
Evaluating Ensemble Methods for News Recommender Systems
University of Leeds, School of Computing（利兹大学计算机学院）
针对新闻推荐系统多算法融合协同性研究空白，本文提出用集成方法组合多样前沿算法，在MIND数据集上验证了基学习器足够多样时性能可提升最高5%，并指出方法差异不足时无提升，为NRS集成方案优化提供参考。
2024-06-23 cs.AI cs.IR
Counterfactual Graph Augmentation for Consumer Unfairness Mitigation in Recommender Systems
针对推荐系统中可解释性与公平性研究相互分离的问题，提出基于反事实解释的二分图增强方法，通过新增可解释且能缓解不公平的用户-物品边，在公平性与推荐效用间实现更优权衡。
2023-08-23 cs.IR
How Fair is Your Diffusion Recommender Model?
本文首次实证研究了基于扩散的推荐模型 DiffRec 及其变体 L-DiffRec 的公平性，在两个基准数据集上从消费者和提供商视角评估了其效用与公平性，并探讨了两者间的权衡。
2025-08-10 cs.IR
The Utility of LLMs in Recommender Systems Explanation Evaluation
University of Zurich（苏黎世大学）；Dublin City University（都柏林城市大学）
本文研究LLMs在推荐系统解释评估中的实用性，通过生成18种解释原型、由14种LLMs评估并与人类评分对比，发现LLMs与人类评分有中等相关性但绝对一致性低，进而给出四条实用建议。
2026-09-03 cs.AI cs.IR
Evaluating Recommendation Algorithms by Graph Analysis
我们提出了一个新的框架来评估推荐算法的“跳跃”，他们使人连接到文物。这种方法强调可达性通过一个算法内的隐式图结构的推荐数据集，并作为一个补充，以评估预测精度。该框架允许我们考虑算法参数与数据集属性相关的问题。例如，给定一个特定的算法“跳跃”，从人到工件的平均路径长度是多少？或者，什么样的最小评级和跳转选择可以保持一个连通图？我们说明了一个共同的跳跃称为“吊床”使用电影推荐数据集的方法。
2001-04-03 cs.DM cs.DS cs.IR
Optimizing Long-term Social Welfare in Recommender Systems: A Constrained Matching Approach
Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Technion（以色列理工学院）
大多数推荐系统（RS）研究假设用户的效用可以独立于其他代理的效用而被最大化（例如，其他用户、内容提供方）。在现实环境中，这往往是不正确的-RS生态系统的动态耦合所有代理的长期效用。在这项工作中，我们探索设置中，内容提供方不能保持可行的，除非他们收到一定程度的用户参与。我们制定的推荐问题在这种情况下作为一个均衡选择诱导动力系统，并表明它可以解决作为一个最佳的约束匹配问题。我们的模型确保系统达到一个平衡，最大的社会福利支持一个足够多样化的可行的供应商。我们证明，即使在一个简单的，程式化的动态RS模型，标准的近视推荐方法-总是匹配用户的最佳供应商-表现不佳。我们开发了几种可扩展的技术来解决匹配问题，并绘制连接到用户的遗憾和公平的各种概念，认为这些结果是公平的功利意义上。
2020-08-18 cs.AI cs.IR cs.LG
Evaluating User Experience in Conversational Recommender Systems: A Systematic Review Across Classical and LLM-Powered Approaches
School of Computer Science, University of Technology Sydney（技术科技大学计算机科学学院）；The Applied College, King Abdulaziz University（国王阿卜杜勒阿齐兹大学应用学院）；Australian Institute of Health Innovation, Macquarie University（麦考瑞大学健康创新研究所）
本综述基于PRISMA方法分析2017-2025年间23项实证研究，揭示对话式推荐系统用户体验评估存在事后调查主导、情感构念缺失及自适应行为关联不足等问题，并提出面向LLM的评估议程。
2025-08-06 cs.AI cs.HC cs.IR
Do recommender systems function in the health domain: a system review
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；The 1st Affiliated Hospital of Harbin Medical University（哈尔滨医科大学附属第一医院）
推荐系统在日常生活中扮演着重要的角色。谷歌的新闻、Netflix的视频、电子商务提供商的商品等推荐已经严重改变了每个人的生活方式。健康领域包含类似的决策问题，例如吃什么，如何锻炼，以及什么是适合患者的药物。近年来，针对推荐系统解决健康问题的研究引起了人们的关注。在本文中，我们回顾了健康推荐系统的兴趣，方法，评价，未来的挑战和趋势问题。我们发现：1）健康推荐系统有其自身的健康问题局限性，这使得它们专注于风险较低的推荐，如饮食推荐; 2）传统的推荐方法，如基于内容和协同过滤方法，很难处理健康约束，但基于知识的方法比以往任何时候都更有效; 3）评估健康建议比评估商业建议更复杂，因为除了准确性之外还应考虑多个维度。在解决了几个关键问题后，推荐系统可以很好地在健康领域发挥作用。我们的工作是一个系统的回顾健康推荐系统的研究，我们显示了目前的状况和未来的发展方向。相信本文的研究将对领域研究者提供帮助，并推动健康推荐系统的进一步发展。
2020-07-26 cs.CL cs.IR cs.LG
Evaluating recommender systems for AI-driven biomedical informatics
Institute for Biomedical Informatics（生物医学信息学研究所）；University of Pennsylvania（宾夕法尼亚大学）
动机：由于缺乏机器学习和/或编码专业知识，许多具有领域专业知识的研究人员无法轻松地将机器学习应用于其生物信息学数据。到目前为止，已经提出的自动化机器学习的方法大多需要编程经验以及正确调整和应用算法的专家知识。在这里，我们研究了一种使用基于Web的平台来自动化生物医学数据科学的方法，该平台使用AI来推荐模型选择并进行实验。我们有两个目标：第一，使构建生物医学过程的复杂模型变得容易;第二，提供一个完全自动化的人工智能智能体，它可以根据用户的实验以及先验知识为用户选择和进行有希望的实验。为了验证这个框架，我们对数百个分类问题进行了实验，并与最先进的自动化方法进行了比较。最后，我们使用这个工具来开发重症监护患者感染性休克的预测模型。结果：我们发现基于矩阵分解的推荐系统在自动化机器学习方面优于元学习方法。这一结果反映了早期推荐系统在其他领域的研究结果。在为数据集选择最佳算法配置方面，所提出的AI与最先进的自动化机器学习方法具有竞争力。在我们预测感染性休克的应用中，人工智能驱动的分析产生了一个有能力的机器学习模型（AUROC 0.85 +/- 0.02），该模型的性能与最先进的深度学习结果相当，并且计算量要少得多。
2020-04-28 cs.IR cs.LG
Towards Robust Recommendation: A Review and an Adversarial Robustness Evaluation Library
该研究全面综述推荐系统鲁棒性，将其分为对抗与非对抗两类梳理相关方法、数据集与指标，还提出对抗鲁棒性评估库ShillingREC并完成基础模型评估，指明领域挑战与未来方向。
2025-06-13 cs.IR
Reformulating Conversational Recommender Systems as Tri-Phase Offline Policy Learning
针对CRS依赖用户模拟器导致模拟有效而部署失效的问题，本文提出TCRS，融合基于模型的离线学习与可控用户模拟，以降低实时交互依赖并提升推荐鲁棒性、适应性与准确性。
2024-09-07 cs.IR
Offline Evaluation for Reinforcement Learning-based Recommendation: A Critical Issue and Some Alternatives
在本文中，我们认为，通常采用离线评价顺序推荐系统的范例是不适合评价强化学习为基础的排序。我们发现，大多数现有的基于强化学习的推荐的离线评估实践是基于下一项预测协议，并详细说明了这样的评估协议的三个缺点。值得注意的是，它不能反映强化学习（RL）预期带来的潜在好处，同时它隐藏了某些离线RL代理的关键缺陷。我们的建议的替代方法来评估基于RL的推荐系统的目的是阐明现有的可能性，并激发未来的研究可靠的评估协议。
2023-01-03 cs.IR
Multilingual Prompts in LLM-Based Recommenders: Performance Across Languages
本研究探讨非英语提示对基于大语言模型的推荐系统性能的影响，扩展OpenP5平台的多语言提示模板，实验发现非英语提示会降低性能，多语言重训可平衡跨语言表现但略降英语性能，指出需加强推荐系统的多语言支持。
2024-09-11 cs.IR
Accelerated learning from recommender systems using multi-armed bandit
推荐系统是许多在线市场的重要组成部分，其中通常有数百万个项目潜在地呈现给具有各种需求或需求的用户。考虑到数据中所有固有的偏见，评估推荐系统算法是一项艰巨的任务，成功的公司必须能够快速改进他们的解决方案，以保持他们的竞争优势。评估推荐算法的黄金标准一直是A/B测试，因为它是一种无偏的方法来估计一个或多个算法在现实世界中的比较结果。然而，A/B测试存在许多问题，使其成为唯一的测试方法变得不切实际，包括较长的交付时间和较高的探索成本。我们认为多武装强盗（MAB）测试可以解决这些问题。我们展示了如何在生产系统中实施MAB解决方案，作为离线和在线A/B测试之间的额外步骤。我们展示了我们的实验结果，并比较了我们用例的所有离线、MAB和在线A/B测试指标。
2019-08-16 cs.IR cs.LG
Decoupled Recommender Systems: Exploring Alternative Recommender Ecosystem Designs
本文研究推荐算法与平台解耦的架构，构建包含算法选择的推荐生态系统模型，探讨其对消费者、提供者和平台间效用分配的影响。
2025-03-06 cs.AI cs.HC cs.IR
Multi-Stakeholder Recommendation: Applications and Challenges
推荐系统已成功应用于通过生成根据用户偏好定制的商品推荐列表来辅助决策。传统的推荐系统只关注于优化作为推荐接收者的最终用户的效用。相比之下，多利益相关者推荐试图生成满足最终用户和其他各方或利益相关者的需求的推荐。本文从实际应用、现有数据集、相应的研究挑战和潜在解决方案的角度概述和讨论了多利益攸关方的建议。
2017-07-27 cs.IR
Beyond-Accuracy: A Review on Diversity, Serendipity and Fairness in Recommender Systems Based on Graph Neural Networks
该综述突破以准确率为中心的视角，系统梳理基于图神经网络的推荐系统在多样性、意外发现性与公平性维度的研究进展，分析各模型开发阶段的相关方法与实际挑战，并提出未来研究方向。
2023-10-03 cs.IR
Exploring Data Splitting Strategies for the Evaluation of Recommendation Models
有效的方法来评估推荐系统是至关重要的，这样的系统可以在一个健全的方式进行比较。推荐系统评估的一个通常被忽视的方面是数据分割策略的选择。在本文中，我们都表明，没有标准的分裂策略，分裂策略的选择可以有很大的影响排名的推荐系统。特别是，我们进行了实验，比较了三种常见的分割策略，研究了它们对两个数据集的七种最先进的推荐模型的影响。我们的研究结果表明，所采用的分裂策略是一个重要的混杂变量，可以显着改变国家的最先进的系统的排名，使许多目前发表的文献不可比，即使使用相同的数据集和指标。
2020-07-26 cs.IR
Toward Active Learning in Cross-domain Recommender Systems
推荐系统（RS）中的主要挑战之一是新用户问题，当系统必须为系统没有信息的新用户生成个性化推荐时，会发生新用户问题。主动学习试图通过以最小的获取成本获取最高质量的用户偏好数据来解决这个问题。虽然在主动学习领域的研究成果很多，但几乎所有的研究都集中在单域推荐场景。然而，几个真实世界的RS在跨域场景中操作，其中系统通过利用目标域和辅助域中的用户偏好来生成目标域中的推荐。在这种情况下，主动学习策略的表现可能会受到显著影响，并且典型的主动学习策略可能无法正常执行。在本文中，我们解决这个问题，通过评估主动学习策略在一个新的评价框架，明确适合跨域推荐的情况。我们发现，在辅助域中访问用户的偏好可能会对主动学习策略w.r. t的性能产生巨大影响。经典的单域场景。
2017-01-08 cs.IR
Evaluating ChatGPT as a Recommender System: A Rigorous Approach
Polytechnic University of Bari（巴里理工大学）
本文提出一种稳健的评估流程，在零样本条件下全面评估ChatGPT作为推荐系统在Top-N推荐、冷启动和重排序任务中的表现，并考量幻觉、重复及超越准确性指标。
2024-06-04 cs.AI cs.CL cs.IR
A Comparative Study of Matrix Factorization and Random Walk with Restart in Recommender Systems
在矩阵分解和重启随机游走（RWR）之间，哪种方法更适合推荐系统？哪种方法更好地处理显式或隐式反馈数据？其他信息是否有助于推荐？推荐系统在许多电子商务服务中扮演着重要的角色，例如亚马逊和Netflix向用户推荐新商品。在各种推荐策略中，协同过滤通过使用用户的评分模式显示出良好的性能。矩阵分解和重启随机游走是最具代表性的协同过滤方法。然而，目前还不清楚哪种方法提供更好的推荐性能，尽管它们的广泛实用性。在本文中，我们提供了一个比较研究的矩阵分解和RWR推荐系统。我们根据推荐中的不同任务，精确地表达了这两种方法的对应关系。特别地，我们新设计了一种使用全局偏差项的RWR方法，它对应于使用偏差的矩阵分解方法。我们详细介绍了这两种方法在推荐质量的各个方面，如这些方法如何处理冷启动问题，通常发生在协同过滤。我们广泛地在真实世界的数据集上进行实验，以评估每种方法在各种措施方面的性能。我们观察到，矩阵分解执行更好的显式反馈评级，而RWR是更好的隐式的。我们还观察到，利用项目的全球流行度是有利的性能和边信息产生积极的协同作用，显式反馈，但与隐式的负面影响。
2017-11-05 cs.IR
Forgetting Fast in Recommender Systems
出于隐私或实用性的原因，推荐系统的用户可能希望他们的部分数据不仅从数据存储库中删除，而且从底层机器学习模型中删除。这种被遗忘权的要求可以通过简单地从头开始重新训练推荐模型来实现，但这在实践中太慢，成本太高。在本文中，我们研究快速机器遗忘技术的推荐系统，可以删除少量的训练数据的推荐模型的影响，而不会产生的全部成本的再培训。加快这个过程的一个自然的想法是在剩余的训练数据上微调当前的推荐模型，而不是从随机初始化开始。这种热启动策略确实适用于使用标准一阶神经网络优化器（如AdamW）的神经推荐模型。然而，我们已经发现，通过采用二阶（牛顿或拟牛顿）优化方法可以实现更大的加速度。为了克服二阶优化器过高的计算成本，我们提出了一种新的推荐unlearning方法AltEraser，它将unlearning的优化问题划分为许多小的易于处理的子问题。在三个真实世界的推荐数据集上进行的大量实验显示，AltEraser在一致性（遗忘彻底性）、准确性（推荐有效性）和效率（遗忘速度）方面都有很好的效果。据我们所知，这项工作是第一次尝试快速近似机器遗忘的国家的最先进的神经推荐模型。
2022-08-14 cs.IR
Generating Diverse Synthetic Datasets for Evaluation of Real-life Recommender Systems
Faculty of Computer and Information Science（计算机与信息科学学院）
本文提出一个模块化开源 Python 框架，用于生成统计一致、可定制的高维稀疏合成类别数据集，支持推荐系统的算法基准测试、偏见检测与 AutoML 搜索评估。
2024-11-27 cs.AI cs.IR
Designing and Evaluating an Educational Recommender System with Different Levels of User Control
本研究设计并评估了一个具有不同用户控制水平的教育推荐系统，通过在线用户研究（N=30）发现用户控制能提升用户感知益处，并与透明度强相关、与信任和满意度中等相关。
2025-01-22 cs.CY cs.HC cs.IR
P-MMF: Provider Max-min Fairness Re-ranking in Recommender System
在本文中，我们解决的问题，推荐公平地从供应商的角度，这已成为越来越重要的多利益相关者推荐系统。现有的研究提供者公平性通常集中在设计比例公平性（PF）的指标，首先考虑系统的公平性。然而，社会学的研究表明，为了使市场更稳定，最大最小公平（MMF）是一个更好的度量。其主要原因是市场营销基金的目标是优先提高最差供应商的效用，引导系统支持处于弱势市场地位的供应商。在将MMF应用于推荐系统时，如何在在线推荐场景中平衡用户偏好和提供者公平性仍然是一个具有挑战性的问题。本文提出了一种基于供应商最大最小公平性的在线重排序模型P-MMF。具体而言，P-MMF将提供商公平推荐公式化为资源分配问题，其中暴露时隙被认为是要分配给提供商的资源，并且在过程期间使用最大-最小公平性作为正则化器。我们表明，该问题可以进一步表示为一个正则化的在线优化问题，并有效地解决其对偶空间。在在线重排序阶段，设计了动量梯度下降方法进行动态重排序。理论分析表明，P-MMF的后悔是有界的。在四个公共推荐数据集上的实验结果表明，P-MMF可以优于最先进的基线。实验结果还表明，P-MMF可以保持小的计算成本的语料库与大量的项目。
2023-03-12 cs.IR
Towards a Real-World Aligned Benchmark for Unlearning in Recommender Systems
本文指出现有推荐系统去学习基准脱离实际，提出涵盖多任务和真实场景的新基准设计期望，并通过初步实验验证定制去学习算法在序列推荐中显著优于通用算法且延迟极低。
2025-09-18 cs.IR
