Beyond Next Item Recommendation: Recommending and Evaluating List of Sequences
推荐系统（RS）建议项目的基础上估计的偏好的用户。最近的RS方法利用向量空间嵌入和深度学习方法来进行有效的推荐。然而，这些方法中的大多数忽略了顺序性特征并且考虑了每个交互，例如，办理入住手续，彼此独立。该方法考虑了用户与项目的交互的顺序性，并使用它们来推荐多项目序列的列表。所提出的方法使用FastText \cite{bojanowski2016enriching}（自然语言处理（NLP）中的公知技术）来对序列的子单元之间的关系建模，例如，跟踪、播放列表，并利用训练的表示作为传统推荐方法的输入。多项目序列的推荐列表由ROUGE \cite{lin2003automatic,lin2004rouge}度量评估，该度量也常用于NLP文献。目前的实验结果表明，它是可能的，除了传统的下一个项目推荐的多项目序列的列表。此外，使用FastText，它利用输入序列的子单元，有助于克服冷启动用户的问题。
2020-08-30 cs.IR
Debias Can be Unreliable: Mitigating Bias Issue in Evaluating Debiasing Recommendation
本研究发现传统评估方案不适用于随机曝光数据集，导致去偏推荐模型评估结果不可靠，并提出URE方案以无偏估计真实Recall性能。
2025-04-29 cs.IR
Candidate Set Sampling for Evaluating Top-N Recommendation
本文研究离线Top-N推荐评估中候选集采样策略与流行度偏差的交互，并通过仿真验证采样候选集能否降低指标估计偏差。
2023-09-21 cs.IR
Evaluating Research Dataset Recommendations in a Living Lab
搜索研究数据集既重要又费力。由于研究数据的选择在进一步研究中的重要性，必须谨慎做出这一决定。此外，由于几乎所有领域的数据量都在不断增长，研究数据已经成为经验科学的核心人工制品。因此，研究数据集建议可以有益地补充科学出版物搜索。我们将推荐任务制定为检索问题，重点关注研究数据集和科学出版物之间的广泛相似性。在一个多阶段的方法中，最初的建议是由BM 25的排名功能和动态查询检索。随后，利用点击反馈和文档嵌入对初始排名进行了重新排名。该系统在CLEF 2021的LiLAS实验室中使用STELLA基础设施对真实用户交互数据进行了现场评估。我们的实验系统可以有效地进行微调之前，通过预先测试系统与一个伪测试收集的基础上，从现场系统的用户交互数据的现场评估。实验结果表明，该实验系统的性能优于其他参与系统。
2022-09-30 cs.IR
LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation
KAIST（韩国科学技术院）；Deezer Research（Deezer 研究院）；SiriusXM；Idiap Research Institute（伊迪亚普研究所）
研究对话式音乐推荐系统中用大语言模型评估系统响应的可靠性，通过抽取会话、用四个指令微调的大语言模型生成候选响应，收集领域专家评分并分析，发现其与人工评估适度正相关且优于基线，还分析了性能随模型规模等的变化。
2026-07-29 cs.IR
Evaluating Recabilities of Foundation Models: A Multi-Domain, Multi-Dataset Benchmark
本文提出 RecBench-MD 基准，在10个领域的15个数据集上评估19个基础模型，揭示领域内微调、跨数据集迁移与多领域训练对推荐能力的影响。
2025-08-29 cs.IR
NineRec: A Benchmark Dataset Suite for Evaluating Transferable Recommendation
NineRec是一个包含大规模源域和九个目标域推荐数据集的基准套件，通过原始多模态特征学习实现可迁移推荐模型TransRec，并提供基准结果和资源。
2024-03-17 cs.IR
What Price Fairness? Evaluating Energy - Fairness - Accuracy Trade-off in Recommender Systems
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；ISISTAN, CONICET-UNCPBA（ISISTAN，阿根廷国家科学研究委员会-内乌肯国立大学）
本研究评估推荐系统中公平性干预的能耗成本，比较多种方法，发现公平性的绿色成本不统一，呼吁以准确性、公平性和计算成本三方权衡来评估公平感知推荐。
2026-09-09 cs.IR
Evaluating Tag Recommendations for E-Book Annotation Using a Semantic Similarity Metric
Know-Center GmbH（知识中心有限公司）；HGV GmbH（HGV有限公司）；Graz University of Technology（格拉茨技术大学）
在本文中，我们提出了我们的工作，以支持出版商和编辑在寻找描述性标签的电子书，通过标签推荐。我们提出了一个混合标签推荐系统的电子书，它利用搜索查询条件从亚马逊用户和电子书元数据，这是由出版商和编辑分配。我们的想法是模仿亚马逊用户的词汇表，他们搜索和评论电子书，并将这些搜索词与编辑器标签结合起来，形成一种混合标签推荐方法。总的来说，我们评估了19个标签推荐算法对亚马逊用户的评论内容，这反映了读者的词汇。我们的研究结果表明，我们可以提高电子书标签推荐系统的性能，无论是关于标签推荐的准确性，多样性，以及一个新的语义相似性度量，我们也提出了在本文中。
2019-08-12 cs.CL cs.IR
Evaluating Recommendation Algorithms by Graph Analysis
我们提出了一个新的框架来评估推荐算法的“跳跃”，他们使人连接到文物。这种方法强调可达性通过一个算法内的隐式图结构的推荐数据集，并作为一个补充，以评估预测精度。该框架允许我们考虑算法参数与数据集属性相关的问题。例如，给定一个特定的算法“跳跃”，从人到工件的平均路径长度是多少？或者，什么样的最小评级和跳转选择可以保持一个连通图？我们说明了一个共同的跳跃称为“吊床”使用电影推荐数据集的方法。
2001-04-03 cs.DM cs.DS cs.IR
LIT-GRAPH: Evaluating Deep vs. Shallow Graph Embeddings for High-Quality Text Recommendation in Domain-Specific Knowledge Graphs
Department of Computer Science, Kansas State University（计算机科学系，堪萨斯州立大学）；Department of Curriculum and Instruction, Kansas State University（课程与教学系，堪萨斯州立大学）
LIT-GRAPH通过比较深度与浅层图嵌入方法，实现领域特定知识图中高质量文本推荐，提升教学相关性。
2026-02-07 cs.AI cs.IR
From "Strings" to "Things" for Personal Knowledge Graphs: Evaluating LLM Triple Extraction for Recommendation Systems
本文提出一种可复现的流水线，利用轻量级大语言模型从对话数据中提取结构化用户偏好三元组，构建个人知识图谱，并评估其在推荐任务中的效用。
2026-07-02 cs.AI cs.IR
Evaluating Generative AI Tools for Personalized Offline Recommendations: A Comparative Study
University of Cuenca（昆卡大学）；Universidad Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本研究比较五种主流生成式AI工具在个性化离线推荐中的性能与用户满意度，针对重复性劳损风险个体，采用GQM范式评估推荐准确性和用户感知。
2025-07-22 cs.IR cs.LG
Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
针对大语言模型推荐（RecLLM）可能存在的偏见，提出公平性基准 FaiRLLM，包含精心设计的指标和涵盖8个敏感属性的数据集，评估发现 ChatGPT 在推荐中仍存在不公平现象。
2026-06-15 cs.CL cs.CY cs.IR
From IR to RecSys: Evaluating LLM-based Judges in Cranfield-style Recommendation Collections
Spotify
本文探讨了LLM是否能作为自动评判者解决推荐系统评估的可扩展性问题，通过实验发现LLM与人类在排序一致性上表现良好，具有实际应用价值。
2026-08-18 cs.IR
Improving Reachability and Navigability in Recommender Systems
在本文中，我们从网络的角度研究推荐系统，并研究推荐网络，其中节点是项目（例如，电影）并且边缘从前N个推荐（例如，相关电影）。特别是，我们专注于评估的可达性和导航性的推荐网络和调查以下问题：（一）如何以及推荐网络支持导航和探索性搜索？(ii)参数，特别是不同的推荐算法和显示的推荐数量，对可达性和可导航性有什么影响？以及（iii）如何在这些网络中提高可达性和可导航性？我们首先通过调查推荐网络的结构特性来评估推荐网络的可达性，从而解决这些问题。其次，我们通过模拟三种不同的信息寻求场景模型来评估导航性。我们发现，与标准的算法，推荐系统不适合导航和探索，并提出了修改建议，以改善这一点的方法。我们的工作从基于单击的推荐系统评估扩展到多单击分析（即，序列的依赖点击），并提出了一个通用的，全面的方法来评估任意推荐网络的可导航性。
2015-07-29 cs.IR cs.SI
User and Recommender Behavior Over Time: Contextualizing Activity, Effectiveness, Diversity, and Fairness in Book Recommendation
本文对Goodreads的UCSD Book Graph数据集进行时间解释性分析，结合活动、多样性与公平性指标及滚动窗口协同过滤训练，揭示用户与推荐系统行为随时间的演变，并考察2011年引入算法推荐后的行为变化。
2025-05-07 cs.IR
Evaluating and Enhancing Robustness of Deep Recommendation Systems Against Hardware Errors
Villanova University（维拉诺瓦大学）；Meta Platforms, Inc（Meta平台公司）
该研究首次系统探究深度推荐系统对抗硬件错误的鲁棒性，开发了基于PyTorch的错误注入框架Terrorch，评估发现鲁棒性受多因素影响，且激活裁剪可最多挽回30%下降的AUC-ROC分数。
2023-07-17 cs.IR cs.LG
Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出一种包含五项任务的评估协议，用于衡量大型语言模型在对话式推荐中模拟人类行为的准确度，揭示其与人类行为的偏差，并探索通过模型选择和提示策略减少偏差的方法。
2024-03-25 cs.AI cs.CL cs.IR
Do We Really Need Specialization? Evaluating Generalist Text Embeddings for Zero-Shot Recommendation and Search
Politecnico Di Bari（巴里理工大学）；Sapienza University of Rome（罗马大学）；University of Klagenfurt（克拉根福大学）
本文证明通用文本嵌入模型无需专门微调即可在零样本推荐与搜索中超越传统及微调模型，并通过PCA压缩嵌入维度进一步提升性能。
2025-07-08 cs.CL cs.IR
FairEval: Evaluating Fairness in LLM-Based Recommendations with Personality Awareness
Beihang University（北京航空航天大学）；McGill University（麦吉尔大学）
本文提出FairEval框架，融合人格特质与八项敏感人口属性，系统评估LLM推荐公平性，并通过PAFS指标揭示ChatGPT 4o与Gemini 1.5 Flash在音乐和电影推荐中的偏差，强调提示鲁棒性对构建包容性推荐系统的重要性。
2025-04-10 cs.AI cs.HC cs.IR
OpenP5: An Open-Source Platform for Developing, Training, and Evaluating LLM-based Recommender Systems
本文提出开源平台 OpenP5，支持基于 T5、Llama-2 等 LLM 的生成式推荐系统开发、训练与评估，覆盖 10 个数据集、两类任务及三种物品索引方法。
2024-04-11 cs.IR
Evaluating Recommender System Algorithms for Generating Local Music Playlists
Ithaca College（伊萨卡学院）
我们探索本地音乐推荐的任务：为听众提供个性化的播放列表的相关曲目的艺术家谁发挥他们的大部分现场活动在一个小的地理区域。大多数本地艺术家往往是默默无闻的长尾艺术家，并且通常很少或没有与他们相关的可用用户偏好数据。这就给基于协作过滤的推荐算法带来了一个冷启动问题，这些算法依赖于大量的此类信息来做出准确的推荐。在本文中，我们比较了三个标准的推荐系统算法（项目-项目邻域（IIN），交替最小二乘隐式反馈（ALS），贝叶斯个性化排名（BPR））的本地音乐推荐使用百万播放列表数据集的任务上的性能。要做到这一点，我们修改了标准的评估程序，使算法只排名轨道的本地艺术家为每个八个不同的城市。尽管基于矩阵分解（ALS，BPR）的技术通常在大型推荐任务中表现最好，但我们发现基于邻域的方法（IIN）在长尾本地音乐推荐中表现最好。
2019-07-17 cs.IR cs.LG stat.ML
Unbiased Cascade Bandits: Mitigating Exposure Bias in Online Learning to Rank Recommendation
曝光偏差是推荐系统中的一个众所周知的问题，其中物品和供应商在推荐结果中的代表性不相等。当偏见随着时间的推移而放大时，这是特别有问题的，因为一些受欢迎的项目在推荐列表中反复过度代表。这种现象可以被看作是一个推荐反馈循环：系统在不同的时间点重复推荐某些项目，用户与这些项目的交互会随着时间的推移放大对这些项目的偏见。这个问题已经被广泛研究的文献中基于模型或基于邻域的推荐算法，但较少的工作已经做了在线推荐模型，如那些基于多臂Bandit算法。在本文中，我们研究了一类著名的土匪算法称为线性级联土匪曝光偏差。我们分析了这些算法处理曝光偏差的能力，并在推荐结果中为项目和供应商提供了公平的代表性。我们的分析表明，这些算法未能公平对待物品和供应商，也没有充分探索每个用户的物品空间。为了减轻这种偏见，我们提出了一个折扣因子，并将其纳入这些算法，控制在每个时间步的项目的曝光。为了证明所提出的折扣因子在减轻曝光偏差方面的有效性，我们使用三种级联强盗算法在两个数据集上进行了实验，我们的实验结果表明，所提出的方法提高了物品和供应商的曝光公平性。
2021-08-07 cs.IR
Evaluating Conversational Recommender Systems via Large Language Models: A User-Centric Framework
The Hong Kong Polytechnic University（香港理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；City University of Hong Kong（香港城市大学）
本文提出CoRE框架，通过大语言模型评估对话推荐系统，结合用户评价和多代理辩论，提升用户体验评估的准确性。
2026-01-24 cs.IR
Evaluating Scene-based In-Situ Item Labeling for Immersive Conversational Recommendation
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；Vector Institute of Artificial Intelligence（向量人工智能研究所）
针对沉浸式对话推荐系统，提出基于显式意图满足和主动信息需求的原位标签分类与评估指标，基准测试显示现有方法在利用场景信息、避免冗余和预测主动需求方面存在局限。
2026-06-25 cs.AI cs.IR
A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models
University of Würzburg（维尔茨堡大学）
目前，顺序项目推荐模型通过计算小项目子集（目标集）上的度量来进行比较，以加快计算速度。目标集包含相关项和从完整项集中采样的一组负项。两种众所周知的对负项进行抽样的策略是均匀随机抽样和按流行度抽样，以更好地逼近数据集中的项频率分布。最近发表的论文顺序项目推荐依赖于抽样的流行程度比较评估模型。然而，最近的工作已经表明，均匀随机抽样的评估可能与完整排名不一致，即，通过使用完整的项目集作为目标集评估度量获得的模型排名，这就提出了通过流行度抽样获得的排名是否等于完整排名的问题。在这项工作中，我们重新评估当前国家的最先进的顺序推荐模型的角度来看，这些采样策略是否有影响的模型的最终排名。因此，我们训练四个最近提出的顺序推荐模型在五个众所周知的数据集。对于每个数据集和模型，我们采用三种评估策略。首先，我们计算完整的模型排名。然后，我们评估所有的模型在两个不同的抽样策略，均匀随机抽样和流行度抽样的目标集上，常用的目标集大小为100，计算每个策略的模型排名，并相互比较。此外，我们改变采样目标集的大小。总体而言，我们发现，这两种抽样策略可以产生不一致的排名相比，完整的排名模型。此外，受欢迎程度抽样和均匀随机抽样并不总是产生相同的排名。
2021-07-27 cs.IR cs.LG
Do Large Language Models Rank Fairly? An Empirical Study on the Fairness of LLMs as Rankers
Santa Clara University（圣克拉拉大学）；DOCOMO Innovations, Inc.（docomo创新公司）；Rochester Institute of Technology（罗切斯特理工学院）
本研究实证评估LLM排序器的公平性，利用TREC公平排序数据集分析性别和地理位置等受保护属性，从用户和内容角度揭示偏见，提供公平性基准。
2024-06-25 cs.CL cs.IR
Unmasking Gender Bias in Recommendation Systems and Enhancing Category-Aware Fairness
Deakin University（迪肯大学）
本文提出一套细粒度类别感知指标量化推荐系统性别偏见，并用作正则化项训练，在三个数据集上验证其能显著提升公平性且不损性能。
2025-02-25 cs.AI cs.CY cs.HC
Metric@CustomerN: Evaluating Metrics at a Customer Level in E-Commerce
本文针对推荐系统传统固定Top-N评估指标的局限，提出以用户历史会话浏览的中位数曝光量作为个性化N值，并展示了初步探索结果及未来改进方向。
2023-07-31 cs.IR
Balancing Domestic and Global Perspectives: Evaluating Dual-Calibration and LLM-Generated Nudges for Diverse News Recommendation
Grouplens Research, University of Minnesota（群体Lens研究，明尼苏达大学）；Northwestern University（西北大学）
本研究提出双校准算法和LLM生成提示，通过五周实验验证其在提升新闻推荐多样性中的效果，发现算法提示提升多样性，而LLM提示影响因人而异，用户兴趣和相关性提升显著。
2026-03-06 cs.AI cs.HC cs.IR
Evaluating Performance and Bias of Negative Sampling in Large-Scale Sequential Recommendation Models
Apple（苹果公司）
该研究针对大规模序列推荐模型的负采样选择难题，对比多种负采样方法在不同流行度偏差基准数据集上的表现，揭示各方法对性能与流行度偏差的影响，为负采样方法的权衡选择提供实用参考。
2024-10-29 cs.IR cs.LG
Offline Evaluation for Reinforcement Learning-based Recommendation: A Critical Issue and Some Alternatives
在本文中，我们认为，通常采用离线评价顺序推荐系统的范例是不适合评价强化学习为基础的排序。我们发现，大多数现有的基于强化学习的推荐的离线评估实践是基于下一项预测协议，并详细说明了这样的评估协议的三个缺点。值得注意的是，它不能反映强化学习（RL）预期带来的潜在好处，同时它隐藏了某些离线RL代理的关键缺陷。我们的建议的替代方法来评估基于RL的推荐系统的目的是阐明现有的可能性，并激发未来的研究可靠的评估协议。
2023-01-03 cs.IR
SteerEval: A Framework for Evaluating Steerability with Natural Language Profiles for Recommendation
Cornell University（康奈尔大学）；Ithaca College（伊萨卡学院）
SteerEval通过自然语言配置文件评估推荐系统的可操控性，分析不同干预措施对操控效果的影响，并提出设计建议。
2026-01-28 cs.AI cs.CL cs.HC
Evaluating Music Recommender Systems for Groups
ETH Zürich（苏黎世联邦理工学院）
向用户群推荐是一项具有挑战性的任务，目前只进行了粗略的研究。特别是评估方面经常出现ad-hoc，而不是真正评估用户组，通过合并个人偏好来合成组。在本文中，我们提出了一个用户的研究，记录个人和共享的喜好，实际组的参与者，从而在一个强大的，标准化的评估基准。使用这个基准数据集，我们与研究社区共享，我们比较了在
2017-07-31 cs.AI cs.HC cs.IR
Evaluating Podcast Recommendations with Profile-Aware LLM-as-a-Judge
Spotify
本文提出了一种基于LLM作为离线评估器的两阶段配置文件感知框架，通过构建用户收听历史的自然语言配置文件来评估播客推荐质量，有效降低输入复杂性并提升可解释性，在对照研究中高保真匹配人类判断。
2025-08-12 cs.AI cs.IR cs.LG
Dynamic Knowledge Selector and Evaluator for recommendation with Knowledge Graph
针对知识图谱推荐中标签稀疏、噪声实体影响精度的问题，提出协同信号引导的动态知识选择评估方法，含链路径评估器与知识选择器，在三个公开数据集上表现优于现有最优基线。
2025-02-21 cs.AI cs.IR
Evaluating Document Representations for Content-based Legal Literature Recommendations
Open Legal Data（开放法律数据）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；ETH Zurich（苏黎世联邦理工学院）；University of Wuppertal（伍珀塔尔大学）
推荐系统帮助法律专业人士找到相关文献来支持他们的案件。尽管它的重要性的专业，法律应用并没有反映在推荐系统和表示学习研究的最新进展。同时，法律推荐系统通常在没有任何公共基准数据集的情况下在小规模用户研究中进行评估。因此，这些研究的重现性有限。为了解决研究与实践之间的差距，我们探索了一套国家的最先进的文件表示方法检索语义相关的美国判例法的任务。我们评估基于文本的（例如，fastText、Transformers）、基于引用的（例如，DeepWalk，Poincaré）和混合方法。我们使用两种银标准对2，964份文件进行了注释，共比较了27种方法。银标准是从Open Case Book和Wikispecies新创建的，可以在开放许可下重复使用，以促进可重复性。我们的实验表明，来自平均fastText单词向量（在法律语料库上训练）的文档表示产生了最好的结果，紧随其后的是庞加莱引用嵌入。以混合方式组合fastText和Poincaré进一步改善了整体结果。除了整体性能外，我们还根据文档长度，引用计数和建议的覆盖范围分析了这些方法。我们在https://github.com/malteos/legal-document-similarity/上公开我们的源代码、模型和数据集。
2021-04-28 cs.CL cs.IR
Frappe: Understanding the Usage and Perception of Mobile App Recommendations In-The-Wild
本文描述了一个真实世界的部署上下文感知的移动应用程序推荐系统（RS）称为Frappe。利用混合方法，我们进行了一个大规模的应用程序市场部署与1000个Android用户结合一个小规模的本地用户研究，涉及33个用户。由此产生的使用日志和主观反馈使我们能够收集有关（1）依赖于上下文的应用程序使用情况和（2）最终用户在与上下文感知移动应用程序推荐交互时的感知和体验的关键见解。虽然Frappe基于以使用为中心的评估指标表现得非常好，但小规模研究的见解揭示了一些负面的用户体验。我们的研究结果指出了一些可操作的经验教训，特别是与设计，部署和评估移动上下文感知RS在野外与真实用户。
2015-05-12 cs.IR
Potential Factors Leading to Popularity Unfairness in Recommender Systems: A User-Centered Analysis
该研究从用户视角出发，探究推荐系统流行度偏差导致用户侧不公平的潜在因素，验证了用户类别兴趣、画像流行度多样性与不公平程度显著相关，为理解推荐公平性提供了用户层面的新依据。
2023-10-04 cs.IR
Improving and Evaluating the Detection of Fragmentation in News Recommendations with the Clustering of News Story Chains
Utrecht University（乌得勒支大学）；Utrecht Data School（乌得勒支数据学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）
本文系统评估了新闻推荐中碎片化检测方法，发现凝聚层次聚类结合SentenceBERT显著优于早期实现，并为利益相关者提供了测量与解释建议。
2023-09-18 cs.CL cs.CY cs.IR
Large Language Models as Evaluators for Recommendation Explanations
Tsinghua University（清华大学）
本文研究大型语言模型能否作为推荐解释的评估器，通过3级元评估策略和真实用户反馈验证了GPT4等LLM在适当提示下可提供准确、可复现且低成本的评估，并提出结合人类标签与多模型集成以提升评估稳定性。
2024-06-06 cs.CL cs.IR
Behavior Alignment: A New Perspective of Evaluating LLM-based Conversational Recommender Systems
University of Delaware（特拉华大学）
本文提出行为对齐这一新评估指标，用于衡量基于LLM的对话推荐系统与人类推荐者策略的一致性，并设计基于分类的隐式测量方法以降低人工标注成本，实验证明其优于现有指标。
2024-10-17 cs.AI cs.IR
What Else Would I Like? A User Simulator using Alternatives for Improved Evaluation of Fashion Conversational Recommendation Systems
针对现有CRS用户模拟器依赖单一目标且缺乏探索性的问题，提出利用替代物品知识的改进模拟器，实验证明其能更准确评估系统并加速满足用户需求。
2024-01-11 cs.IR
SciNUP: Natural Language User Interest Profiles for Scientific Literature Recommendation
University of Stavanger（斯塔万格大学）
SciNUP通过合成数据集评估基于自然语言用户兴趣资料的学术文献推荐方法，揭示基线方法的互补行为及改进空间。
2026-01-23 cs.IR
Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders
UC San Diego（加州大学圣迭戈分校）；UC Los Angeles（加州大学洛杉矶分校）
本文提出BLaIR基准测试，评估大语言模型在推荐场景中的语义编码能力，通过大规模数据集和多任务评估揭示LLM在推荐任务中的独特挑战。
2026-04-20 cs.IR
RobustExplain: Evaluating Robustness of LLM-Based Explanation Agents for Recommendation
Workday
RobustExplain提出首个评估框架，用于衡量LLM生成推荐解释的鲁棒性，揭示当前模型鲁棒性较低，较大模型稳定性更高。
2026-02-03 cs.AI cs.IR cs.LG
Beyond Ranking Accuracy: Evaluating LLM-Cited Feature Rationales for Next Basket Repurchase Recommendation
Walmart Global Tech（沃尔玛全球技术）
该研究针对下一个购物篮回购推荐，探究LLM作为独立推荐器的可行性，发现其排序能力不及监督排序器，但可作为经验证的解释组件，且理由质量需与排序准确率分开评估。
2026-09-01 cs.AI cs.IR
Understanding the Relation of User and News Representations in Content-Based Neural News Recommendation
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
已经提出了许多基于神经内容的新闻推荐模型。然而，有这样的系统（新闻编码器，用户编码器和评分功能）的三个主要组成部分的相对重要性和权衡所涉及的理解有限。在本文中，我们评估的假设，最广泛使用的手段匹配用户和候选人的新闻表示是不够的表达。我们允许我们的系统通过评估更具表现力的评分函数来模拟两者之间更复杂的关系。在广泛的基线和已建立的系统中，这导致AUC持续改善约6个点。我们的研究结果还表明了新闻编码器的复杂性和评分函数之间的权衡：一个相当简单的基线模型在MIND数据集上的得分远高于68% AUC，并且与已发表的最先进的模型相差不到2个点，同时需要一小部分计算成本。
2022-07-29 cs.CL cs.IR
Evaluating and Addressing Fairness Across User Groups in Negative Sampling for Recommender Systems
RMIT University（皇家墨尔本理工大学）；ETH Zurich（苏黎世联邦理工学院）
针对推荐系统负采样因数据不平衡导致不活跃用户边缘化的问题，本文通过实证揭示现有策略的群体公平性缺陷，提出群体特异性负采样策略，实验证明其可提升用户侧公平性与整体性能。
2025-11-11 cs.IR
Contemporary Recommendation Systems on Big Data and Their Applications: A Survey
该综述梳理了推荐系统的发展历程与四大技术类别，聚焦大数据驱动的前沿实现，介绍了常用评估数据集，分析了当前面临的核心挑战与实际应用障碍，指出相关技术进步可提升现实体验。
2024-03-13 cs.IR
Evaluating ChatGPT as a Recommender System: A Rigorous Approach
Polytechnic University of Bari（巴里理工大学）
本文提出一种稳健的评估流程，在零样本条件下全面评估ChatGPT作为推荐系统在Top-N推荐、冷启动和重排序任务中的表现，并考量幻觉、重复及超越准确性指标。
2024-06-04 cs.AI cs.CL cs.IR
Learning from History and Present: Next-item Recommendation via Discriminatively Exploiting User Behaviors
在现代电子商务中，顾客的行为包含着丰富的信息，消费习惯，偏好的动态。最近，基于会话的推荐越来越流行，以探索客户的交互行为的时间特性。然而，现有的研究主要是利用短期行为，没有充分考虑客户的长期稳定的偏好和演变。在本文中，我们提出了一种新的行为密集型神经网络（BINN）的下一个项目推荐结合用户的历史稳定的偏好和目前的消费动机。具体来说，BINN包含两个主要组件，即，神经项目嵌入和区分行为学习。首先，提出了一种基于用户交互的项目嵌入方法，以获得每个项目的统一表示。然后，通过嵌入的项目和项目序列上的交互行为，BINN有区别地学习目标用户的历史偏好和当前动机。因此，BINN可以更好地为目标用户推荐下一个项目。最后，为了评估BINN的性能，我们在两个真实世界的数据集上进行了广泛的实验，即，天池和JD.实验结果清楚地证明了BINN的有效性与几个国家的最先进的方法相比。
2018-08-03 cs.IR
FairSR: Fairness-aware Sequential Recommendation through Multi-Task Learning with Preference Graph Embeddings
National Cheng Kung University（国立成功大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
顺序推荐（SR）从用户-项目交互的时间动态中学习，以预测下一个。公平性感知推荐减轻了用户偏好学习中的各种算法偏差。本文旨在将SR和算法公平性结合起来。我们提出了一种新的公平性感知的顺序推荐任务，在其中定义了一个新的度量，交互公平性，以估计如何推荐项目公平地与不同的保护属性组的用户进行交互。我们提出了一个基于多任务学习的深度端到端模型FairSR，它由两部分组成。一种是从给定的用户及其项目序列中学习和提取个性化的序列特征，用于SR。另一种是公平感知偏好图嵌入（FPGE）。FPGE的目标是双重的：将用户和项目的属性及其相关性的知识纳入实体表示，并减轻用户属性在项目上的不公平分布。在三个数据集上进行的大量实验表明，FairSR在推荐性能上优于最先进的SR模型。此外，FairSR推荐的项目也表现出良好的交互公平性。
2022-04-30 cs.IR cs.LG cs.SI
