A/B Testing Measurement Framework for Recommendation Models Based on Expected Revenue
我们提供了一种方法来确定一个新的推荐系统是否提高了每次访问的收入（RPV）相比，现状。我们通过将RPV分解为转化率和平均订单价值（AOV）来实现我们的目标。我们使用Lachenbruch建议的两部分测试来确定新系统中的数据生成过程是否不同。在这种情况下，这个测试并没有给我们一个明确的答案，在RPV的变化，我们提出了两个替代测试，以确定是否RPV已经改变。这两个测试都依赖于非零购买值遵循对数正态分布的假设。我们使用Staples.com在不同时间点收集的数据实证验证了这一假设。平均而言，我们的方法需要比其他方法更小的样本量。此外，它不需要任何主观的离群值去除。最后，它通过提供置信区间来表征RPV周围的不确定性。
2019-06-14 cs.IR stat.ME
A Tech Hybrid-Recommendation Engine and Personalized Notification: An integrated tool to assist users through Recommendations (Project ATHENA)
ATHENA项目旨在开发一个解决信息过载的应用程序，主要关注具有现代系统的个性化和用户体验设计的推荐系统（RS）。使用了两种机器学习（ML）算法：（1）用于基于内容的过滤（CBF）的TF-IDF;（2）具有矩阵分解的分类-奇异值分解（SVD），其应用于协同过滤（CF）和平均值（归一化）以用于CF的预测精度。菲律宾农业、水产和自然资源研究与发展委员会（PCAARRD）电子图书馆和SARAI项目出版物的学术研究与发展中的数据采样，以及用作训练集的模拟数据，以生成使用三种RS过滤（CF，CBF和个性化版本的项目推荐）的项目推荐。执行并讨论了一系列测试和TAM。调查结果允许用户参与在线信息，并快速评估应用程序产生的检索项目。兼容性测试（CoT）显示该应用程序与所有主要浏览器兼容，并且对移动设备友好。性能测试（PT）推荐的v-参数规格和TAM评估结果表明与总体正反馈密切相关，足以彻底解决信息过载问题作为本文的核心。提出了一种模块化架构，以解决信息过载问题，主要关注具有个性化和现代系统设计的RS。开发人员使用了两种ML算法，并对架构的简化版本进行了原型设计。进行并讨论了一系列测试（CoT和PT）和TAM评价。项目ATHENA增加了一个现代系统的UX功能设计。
2022-02-13 cs.IR cs.LG
A statistical significance testing approach for measuring term burstiness with applications to domain-specific terminology extraction
本文提出 RICF，一种结合集合频率与文档频率的统计显著性检验启发式方法，用于量化术语突发性，并在 GENIA Term 语料库的术语抽取任务中优于卡方检验且具竞争力。
2024-01-01 cs.IR
NS4AR: A new, focused on sampling areas sampling method in graphical recommendation Systems
针对图推荐系统负采样的数量与质量问题，本文提出NS4AR方法，通过划分采样区域并利用AdaSim加权构建正负样本集，同时设计子集选择模型筛选核心负样本。
2023-10-01 cs.IR
Prediction then Correction: An Abductive Prediction Correction Method for Sequential Recommendation
针对序列推荐单步预测难以修正的问题，提出APC框架，通过反向序列模型执行溯因推断并最小化历史交互差异来调整预测，且可适配多种可微骨干模型。
2023-04-27 cs.IR
Towards Reliable Testing for Multiple Information Retrieval System Comparisons
本文针对多信息检索系统比较中的多重检验问题，基于模拟与TREC数据评估多种多重比较程序，发现Wilcoxon检验结合Benjamini-Hochberg校正在控制第一类错误的同时具有最佳统计功效。
2025-01-07 cs.IR
Cross-Domain Causal Preference Learning for Out-of-Distribution Recommendation
针对推荐系统在用户属性演变导致分布外泛化困难的问题，提出跨域因果偏好学习模型CDCOR，通过域对抗网络和因果结构学习器捕捉不变偏好，在数据稀疏和分布外场景下显著提升推荐性能。
2024-04-23 cs.IR
User-based collaborative filtering approach for content recommendation in OpenCourseWare platforms
内容推荐器系统或推荐系统表示信息过滤系统的子类，其试图预测用户偏好，即最有可能被用户正面“评级”的内容。目前，开放式课程（OCW）平台的推荐系统通常以两种方式之一生成推荐列表，即通过基于内容的过滤或基于用户的协同过滤（CF）。本文提出了内容推荐模块的概念性思想，该模块能够提出相关的甲板（演示文稿，教育材料等）。它特别分析了用于实现基于用户的CF方法和与内容评估相关的用户相关功能的合适技术。所提出的方法还设想了一个混合推荐系统，作为基于用户和基于内容的方法的组合，以提供一个全面和有效的解决方案的内容推荐。最后，为了评估和测试的目的，一个指定的内容推荐模块被实现为SlideWiki创作开放式课程平台的一部分。
2019-02-27 cs.IR
Statistical Significance Testing in Information Retrieval: An Empirical Analysis of Type I, Type II and Type III Errors
Delft University of Technology（代尔夫特理工大学）
统计显著性检验被广泛接受为评估有效性差异如何反映系统之间的实际差异的一种手段，而不是由于主题选择而产生的随机噪声。根据最近对SIGIR、CIKM、ECIR和TOIS论文的调查，t检验是IR研究者最流行的选择。然而，以前的工作建议计算机密集型测试，如引导或排列测试，主要基于理论论证。在经验的基础上，其他人提出了非参数的替代方法，如Wilcoxon检验。事实上，我们应该使用哪种测试的问题已经伴随着IR和相关领域几十年了。以前关于这个问题的理论研究是有限的，因为我们知道，测试假设不满足IR实验，和实证研究是有限的，因为我们没有必要的控制零假设计算实际的I型和II型出错率在现实条件下。因此，不仅不清楚使用哪种测试，而且我们应该对它们寄予多大的信任。与过去的研究相比，在本文中，我们采用了最近的模拟方法，从TREC数据去绕过这些限制。我们的研究包括针对一系列测试、系统、有效性度量、主题集大小和效应大小以及双尾和单尾情况计算的超过5亿个p值。有了如此大量的IR评估数据，并充分了解零假设，我们终于能够评估统计显著性检验在IR数据中的真实表现，并为从业者提供合理的建议。
2019-06-05 cs.DL cs.IR cs.LG
Information filtering via preferential diffusion
推荐系统在解决信息过载问题上显示出巨大的潜力，即帮助用户在巨大的信息空间中找到感兴趣的和相关的对象。一些物理动力学，包括热传导过程和网络上的质量或能量扩散，最近在个性化推荐中找到了应用。以往的研究大多集中在推荐准确率作为唯一的重要因素，而忽略了多样性和新颖性的意义，这确实提供了系统的生命力。本文提出了一种基于用户-对象二部网络偏好扩散过程的推荐算法。在两个基准数据集MovieLens和Netflix上的数值分析表明，我们的方法优于最先进的方法。具体来说，它不仅可以提供更精准的推荐，还可以通过精准推荐冷门对象，产生更多样、更新颖的推荐。
2011-02-27 cs.IR physics.data-an
Accelerated learning from recommender systems using multi-armed bandit
推荐系统是许多在线市场的重要组成部分，其中通常有数百万个项目潜在地呈现给具有各种需求或需求的用户。考虑到数据中所有固有的偏见，评估推荐系统算法是一项艰巨的任务，成功的公司必须能够快速改进他们的解决方案，以保持他们的竞争优势。评估推荐算法的黄金标准一直是A/B测试，因为它是一种无偏的方法来估计一个或多个算法在现实世界中的比较结果。然而，A/B测试存在许多问题，使其成为唯一的测试方法变得不切实际，包括较长的交付时间和较高的探索成本。我们认为多武装强盗（MAB）测试可以解决这些问题。我们展示了如何在生产系统中实施MAB解决方案，作为离线和在线A/B测试之间的额外步骤。我们展示了我们的实验结果，并比较了我们用例的所有离线、MAB和在线A/B测试指标。
2019-08-16 cs.IR cs.LG
Semantic Search and Recommendation Algorithm
Netaji Subhas University of Technology（贾瓦哈拉尔·尼赫鲁技术大学）
本研究针对传统搜索方法的局限，提出结合Word2Vec与Annoy Index的新型语义搜索算法，可提升信息检索效率，经100GB数据集验证，兼具高速、高精度与高可扩展性。
2024-12-09 cs.AI cs.DB cs.IR
Recommendation or Discrimination?: Quantifying Distribution Parity in Information Retrieval Systems
True Fit Corporation（True Fit公司）
信息检索（IR）系统通常利用查询数据向用户建议相关项目。这引入了不公平的可能性，如果查询（即，输入）并且所得到的推荐无意中与作为受保护变量的潜在因素相关（例如，种族、性别和年龄）。例如，用于时尚推荐的视觉搜索系统可以在生成推荐时拾取人体模型的特征而不是时尚服装。在这项工作中，我们在前K IR结果中引入了“分布平价”的统计测试，该测试评估给定的一组建议对于特定的受保护变量是否公平。我们评估我们的测试使用模拟和实证结果。首先，使用人工偏见的建议，我们证明了统计检测偏差和搜索目录的大小之间的权衡。其次，我们将我们的测试应用于时尚服装的视觉搜索系统，特别是测试基于时尚模特肤色的推荐偏差。我们的分布奇偶性测试可以帮助确保IR系统的结果是公平的，并为所有用户提供良好的体验。
2019-09-13 cs.IR cs.LG stat.ML
Evaluating Podcast Recommendations with Profile-Aware LLM-as-a-Judge
Spotify
本文提出了一种基于LLM作为离线评估器的两阶段配置文件感知框架，通过构建用户收听历史的自然语言配置文件来评估播客推荐质量，有效降低输入复杂性并提升可解释性，在对照研究中高保真匹配人类判断。
2025-08-12 cs.AI cs.IR cs.LG
EmTaggeR: A Word Embedding Based Novel Method for Hashtag Recommendation on Twitter
IBM Research India（IBM印度研究院）；Indian Institute of Technology（印度理工学院）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）
主题标签推荐问题解决了基于帖子的内容和上下文来推荐（建议）一个或多个主题标签以显式地标记在给定社交网络平台上做出的帖子。在这项工作中，我们提出了一种新的方法来推荐微博帖子，特别是Twitter的标签。该方法EmTaggeR建立在一个训练测试框架之上，该框架建立在词嵌入的概念之上。训练阶段包括学习与每个主题标签相关联的词向量，以及导出每个主题标签的词嵌入。我们提供了两个训练过程，其中一个是用适用于该主题标签上下文的单独的词嵌入模型来训练每个主题标签，另一个是每个主题标签从全局上下文中获得其嵌入。测试阶段包括计算测试帖子的平均词嵌入，并找到该嵌入与主题标签的已知嵌入的相似性。提取包含最相似的主题标签的推文，并根据嵌入相似性得分对这些推文中出现的所有主题标签进行排名。出现在这个排名列表中的前K个主题标签，被推荐用于给定的测试帖子。我们的系统产生的F1分数为50.83%，比LDA基线提高了约6.53倍，优于文献中已知的性能最好的系统，提供了6.42倍的提升。EmTaggeR是一个快速，可扩展和轻量级的系统，这使得它在现实生活中的应用程序部署。
2017-12-05 cs.CL cs.IR cs.SI
Combinatorial Keyword Recommendations for Sponsored Search with Deep Reinforcement Learning
Baidu（百度）
在赞助搜索中，关键字推荐可以帮助广告主在有限的预算内获得更好的效果。许多工作已经完成，从搜索日志或着陆页中挖掘出大量的候选关键字。然而，从特定候选人中进行选择的战略仍有待改进。现有的基于相关度、基于流行度和规则的组合策略没有考虑到关键词之间的内部竞争和外部竞争。本文将关键词推荐问题视为一个组合优化问题，并采用改进的指针网络结构进行求解。该模型在基于行动者-批评者的深度强化学习框架上进行训练。提出了一种预聚类方法--等大小K-Means方法，通过缩小动作空间来加快框架的训练和测试过程。在离线和在线环境下对框架的性能进行了评估，可以观察到显着的改进。
2019-07-18 cs.IR cs.LG stat.ML
Fine-Tuning Strategy, Not Just Data: A Statistically Rigorous Audit of Gender and Stereotypical Bias in Embedding Models for HR Recommendation Systems
Randstad N.V.（兰仕德有限公司）
该研究审计六种嵌入模型，发现E5-Base的知识蒸馏微调会显著增加人力资源推荐系统的偏差，二分类微调则无显著变化，指出微调策略是控制偏差的关键设计杠杆。
2026-10-14 cs.CL cs.CY cs.IR
