Genie: An Open Box Counterfactual Policy Estimator for Optimizing Sponsored Search Marketplace
Microsoft Bing Ads（微软必应广告）
在本文中，我们提出了一个离线反事实的政策估计框架称为精灵优化赞助搜索市场。Genie采用了一个带有点击校准模型的开箱模拟引擎来计算对系统的任何修改对KPI的影响。从Bing流量的实验结果来看，我们发现Genie的表现优于现有的观察方法，这些方法采用随机实验来研究频繁更新策略的流量切片。我们还表明，精灵可以用来调整完全新的政策，有效地没有创建危险的随机实验，由于冷启动问题。截至目前，Genie每年托管超过10000个优化作业，为Bing Ads运行超过3000万个处理节点小时的大数据作业。在过去的3年里，Genie已被证明是优化Bing Ads Marketplace的主要平台之一，因为它在频繁的政策变化下具有可靠性，并且在实际实验中能够最大限度地降低风险。
2018-08-22 cs.AI cs.LG stat.ML
Doubly-Robust Estimation of Counterfactual Policy Mean Embeddings
Gatsby Computational Neuroscience Unit University College London（盖茨计算神经科学单元伦敦大学学院）
针对反事实策略结果分布估计需求，提出CPME框架在RKHS中表示分布，设计双重鲁棒估计器提升收敛速率，开发渐近正态的核检验统计量，支持采样且模拟效果优于现有方法。
2025-10-27 cs.LG stat.ML
Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王宣计算机技术研究所）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出群体因果反事实策略优化方法，通过反事实奖励提升LLM推理的通用性，强调推理过程的鲁棒性和有效性，实验验证其有效性。
2026-05-13 cs.LG
Enhancing RL Safety with Counterfactual LLM Reasoning
Simula Research Laboratory（西穆拉研究院）
针对强化学习策略存在不安全行为、难以解释的问题，提出在训练后利用反事实大语言模型推理增强其安全性，验证了该方法的安全性提升效果与可解释性价值。
2024-09-16 cs.LG
Counterfactual Explanation Policies in RL
Adobe（奥多比公司）；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Manipal Institute Of Technology（马尼帕尔理工学院）；Harvard University（哈佛大学）
本文提出COUNTERPOL框架，利用反事实解释分析强化学习策略，通过最小策略改变实现期望回报，并在五个环境上验证其有效性与理论联系。
2023-07-25 cs.AI cs.LG
Transfer learning with causal counterfactual reasoning in Decision Transformers
causaLens；King’s College London（伦敦国王学院）
适应环境突发事件变化的能力是强化学习中的一个重要挑战。事实上，将先前获得的知识转移到具有看不见的结构特性的环境中可以大大提高构建新的最优策略的灵活性和效率。在这项工作中，我们研究了环境动态变化下的迁移学习问题。在这项研究中，我们在离线强化学习设置中应用因果推理，将学习到的策略转移到新的环境中。具体来说，我们使用决策Transformer（DT）架构来提取新环境的新策略。DT通过在源环境的事实和反事实模拟上执行策略部署来收集数据。我们表明，这种机制可以引导一个成功的政策目标环境，同时保留大部分的奖励。
2021-10-27 cs.AI cs.LG stat.ML
APRIL: Annotations for Policy evaluation with Reliable Inference from LLMs
Stanford University（斯坦福大学）
APRIL利用大语言模型生成医疗领域的反事实注释，以提高离线策略评估的准确性与可扩展性。
2025-11-21 cs.AI cs.LG
Off-Policy Evaluation and Counterfactual Methods in Dynamic Auction Environments
Michigan State University（密歇根州立大学）；Expedia Group（亿客行集团）
本文研究动态拍卖资源分配中的OPE问题，提出在A/B测试前使用反事实估计器快速评估候选策略，以降低实验成本并支持更明智的策略选择。
2025-01-09 cs.AI cs.LG q-fin.CP
Learning Efficient and Effective Exploration Policies with Counterfactual Meta Policy
Nankai University（南开大学）；Microsoft Research Asia（微软亚洲研究院）
强化学习算法中的一个基本问题是对环境的探索和对代理已经获得的信息的利用之间的平衡。特别是，探究对于学习过程的效率和有效性都起着至关重要的作用。然而，现有的探索工作涉及任务不可知的设计，这是在一个环境中表现良好，但不适合另一个。目的是以自动化的方式学习有效和高效的勘探策略。我们形式化了一个可行的度量标准，用于测量基于反事实意识形态的探索效用。在此基础上，提出了一种基于元学习的端到端探索策略学习算法。我们证明，我们的方法取得了良好的效果相比，以前的作品在高维控制任务的MuJoCo模拟器。
2019-05-28 cs.LG stat.ML
Policy-Conditioned Counterfactual Credit for Verifiable Reinforcement Learning of Long-Horizon Language Agents
stu.ahu.edu.cn（安徽大学）
提出CVT-RL算法，通过策略条件反事实贡献估计和可验证奖励约束，解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题，在多个任务上提升成功率并降低作弊率。
2026-06-03 cs.AI cs.LG
Counterfactual Learning with General Data-generating Policies
Yale University（耶鲁大学）；Northwestern University（西北大学）；Mercari, Inc.（Mercari 株式会社）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
脱离策略评估（OPE）尝试使用来自不同策略的日志数据来预测反事实策略的性能。我们扩展了它的适用性，通过开发一个OPE的方法为一类完全支持和不足的支持日志记录政策的上下文强盗设置。该类包括确定性的强盗（如置信上限）以及基于监督和无监督学习的确定性决策。我们证明，我们的方法的预测收敛概率的真实表现的反事实的政策作为样本量的增加。我们验证我们的方法与实验部分和完全确定性的日志记录政策。最后，我们应用它来评估一个主要的在线平台的优惠券定位政策，并展示如何改进现有的政策。
2022-12-04 cs.AI cs.LG econ.EM
Benchmarking Counterfactual Prediction in Epidemic Time Series with Time-Varying Interventions
University of Michigan Computer Science and Engineering（密歇根大学计算机科学与工程系）；University of Michigan Epidemiology & Complex Systems（密歇根大学流行病学与复杂系统）
为解决缺乏可观测反事实结果的真实基准问题，基于校准的基于智能体的模型生成大规模流行病时间序列反事实预测基准，支持静态/时变治疗和单/多策略干预，评估多种因果推断方法。
2026-06-16 cs.AI cs.LG
Are Good Generators Good Decision-Makers? Policy Learning for General Interventions via Retargeted Counterfactual Generation
Cornell Tech（康奈尔科技）；Cornell University（康奈尔大学）；Department of Biostatistics, Department of Population Health（生物统计学系、人口健康系）；New York University Grossman School of Medicine（纽约大学格罗斯曼医学院）
提出ADIGen框架，结合Riesz回归、因果不变性和正交统计学习，实现通用干预下反事实生成的自动、去偏和不变性，并提供过剩风险界。
2026-10-08 cs.LG stat.ML
Counterfactual experience augmented off-policy reinforcement learning
Wuhan University of Science and Technology（武汉科技大学）；College of Science（理学院）；Intelligent Automobile Engineering Research Institute（智能汽车工程研究院）；School of Automobile and Traffic Engineering（汽车与交通工程学院）
针对强化学习分布外与探索低效问题，提出CEA算法，利用变分自编码器和反事实推理扩展经验池，并在多类环境中优于SOTA方法。
2025-03-18 cs.AI cs.LG stat.ML
Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation
Johns Hopkins Carey Business School（约翰斯·霍普金斯凯瑞商学院）；International Computer Science Institute（国际计算机科学研究所）；Pennsylvania State University（宾夕法尼亚州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文针对上下文多臂老虎机离线策略评估的预算约束多源反事实标注问题，构建整数分配模型并提出带动态规划子例程的优化算法，实验显示其可降低均方误差。
2026-10-09 cs.AI cs.LG math.OC
Counterfactual-Augmented Importance Sampling for Semi-Offline Policy Evaluation
Computer Science & Engineering（计算机科学与工程系）；University of Michigan, Ann Arbor, MI, USA（密歇根大学安娜堡分校）
本文提出一种半离线策略评估框架，利用人类标注的反事实轨迹设计基于重要性采样的新估计器，在不引入额外偏差的前提下降低偏差和方差，并在赌博机和医疗模拟器中验证其优于纯离线方法且对不完美标注具有鲁棒性。
2023-10-26 cs.AI cs.LG
Eventual Discounting Temporal Logic Counterfactual Experience Replay
Caltech（加州理工学院）；Penn State（宾夕法尼亚州立大学）；Latitude AI（Latitude人工智能公司）
线性时序逻辑（LTL）提供了一种简化的方式来指定策略优化的任务，否则可能难以用标量奖励函数来描述。然而，标准RL框架可能过于短视，无法找到最大限度的LTL满足政策。本文有两个贡献。首先，我们开发了一个新的价值函数为基础的代理，使用一种技术，我们称之为最终折扣，根据该技术可以找到满足LTL规范的政策，以最高的可实现概率。其次，我们开发了一种新的经验重放方法，通过反事实推理的不同方式来满足LTL规范，从政策上的推出生成政策外的数据。我们的实验，在离散和连续的状态-动作空间进行，证实了我们的反事实经验重放方法的有效性。
2023-03-03 cs.AI cs.LG cs.LO
BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents
University of Chicago（芝加哥大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Stanford University（斯坦福大学）；University of Science and Technology of China（中国科学技术大学）；Meituan（美团）
针对分组强化学习中状态-动作信用分配不匹配问题，提出BiPACE优势估计器，通过双模拟引导的状态聚类和动作反事实基线，在无需批评网络或额外采样的前提下提升LLM智能体训练效果。
2026-06-25 cs.AI cs.CL cs.LG
Bayesian Counterfactual Mean Embeddings and Off-Policy Evaluation
Carnegie Mellon University（卡内基梅隆大学）；University of Oxford（牛津大学）
反事实分布模拟了未处理组中的处理效果。虽然大部分的工作集中在预期值的处理效应，人们可能会感兴趣的整个反事实分布或其他数量与之相关的贝叶斯条件均值嵌入的框架的基础上，我们提出了一个贝叶斯方法建模的反事实分布，这导致量化的认知不确定性的分布。该框架自然延伸到观察到多种处理效应（例如，过渡期后的中间效果，以及主要关注的最终处理效应）的设置，并允许对这些效果之间关系的不确定性进行额外建模。为了实现这一目标，我们提出了三种新的贝叶斯方法来估计最终的处理效应的期望，当只提供噪声样本之间的依赖性的中间和最终的效果。这些方法在所考虑的不确定性来源上有所不同，并允许结合两种数据来源。此外，我们将这些想法推广到政策外的评估框架，这可以被视为反事实估计问题的扩展。我们经验性地探讨了在两个不同的实验设置，需要数据融合的算法的校准，并说明了考虑的不确定性所产生的两个来源的数据的价值。
2022-11-02 cs.LG stat.ML
Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（阿霍德·德尔海兹）
反事实评估可以根据历史交互数据估计排名系统之间的点击率（CTR）差异，同时减轻位置偏差和项目选择偏差的影响。我们引入了新的日志策略优化算法（LogOpt），它优化了日志数据的策略，使反事实估计具有最小的方差。由于最小化方差导致更快的收敛，LogOpt提高了反事实估计的数据效率。LogOpt将反事实方法（与日志策略无关）转变为在线方法，由算法决定显示什么样的排名。我们证明，作为一种在线评估方法，LogOpt是无偏的w.r.t.位置和项目选择偏差，不像现有的交织方法。此外，我们通过模拟数千个排名之间的比较来进行大规模实验。我们的研究结果表明，虽然交织方法会产生系统误差，但LogOpt与交织方法一样有效，而不会有偏差。
2020-07-28 cs.IR cs.LG
Not Every Divergence Should Be Suppressed: Counterfactual Recoverability in On-Policy Distillation
该研究针对在线策略蒸馏中偏差规则无法判断错误前缀是否可纠正的问题，提出反事实可恢复性方法，通过分支分类状态，实现更强的监督效果与性能提升。
2026-09-29 cs.AI cs.LG
Counterfactual Shapley Credit Assignment
研究信用分配问题，提出基于因果理论的反事实沙普利信用分配框架，通过反事实沙普利值分配功劳责任，推导有效估计器实现$\phi$-PPO方法，结合优先轨迹重放，在复杂环境中有卓越样本效率，能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Cost-Effective Incentive Allocation via Structured Counterfactual Inference
University of California, Berkeley（加州大学伯克利分校）；Ant Financial Service Group（蚂蚁金融服务集团）；Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们解决了一个普遍存在于现代营销活动中的实际问题，在这个问题中，中央代理试图学习一个政策，用于向客户分配战略性的财务激励措施，并只观察到强盗反馈。与传统的政策优化框架相比，我们考虑到在这种情况下常见的额外的奖励结构和预算约束，并开发了一个新的两步法来解决这个约束反事实的政策优化问题。我们的方法首先铸造的奖励估计问题作为一个补充结构的域适应问题，然后使用的估计优化的政策约束。我们还建立了我们的估计过程的理论误差范围，我们的经验表明，该方法导致显着改善合成和真实的数据集。
2019-11-11 cs.LG stat.ML
Causally-Enhanced Reinforcement Policy Optimization
提出 CE-PO 奖励塑形框架，利用 Jacobian 敏感度与反事实强化衡量 Z→X→Y 因果连贯性，并兼容 PPO/GRPO，在4个数据集上平均提升准确率5.49%且增强因果鲁棒性。
2025-09-27 cs.AI cs.CL cs.LG
Beyond Uniform Credit: Causal Credit Assignment for Policy Optimization
Lexsi Labs（Lexsi实验室）
本文提出反事实重要性加权方法，通过因果信用分配提升语言模型推理性能，无需辅助模型或外部标注，实验验证其在GSM8K上的有效性。
2026-02-10 cs.AI cs.CL cs.LG
Forecasting from Counterfactual Simulator Rollouts: A Sim2Real Evaluation
Amazon（亚马逊）
本研究通过两个真实库存控制部署，验证了反事实模拟器推演训练预测模型可解决新策略冷启动问题，显著降低MAPE误差，且后续校准可进一步优化。
2026-10-05 cs.LG
Counterfactual Explainer Framework for Deep Reinforcement Learning Models Using Policy Distillation
The University of Warwick（华威大学）；Warwick Manufacturing Group (WMG)（华威制造集团（WMG））
针对深度强化学习在安全关键系统中缺乏可解释性验证的问题，提出基于策略蒸馏的反事实解释框架，经自动驾驶和Atari Pong实验验证可生成合理有意义的黑盒决策解释并开源代码。
2023-10-07 cs.LG
Efficient Counterfactual Learning from Bandit Feedback
Yale University（耶鲁大学）；CyberAgent Inc.（CyberAgent公司）
使用来自bandit反馈的批量数据进行非策略评估和优化的最有效的统计方法是什么？对于由上下文强盗算法生成的日志数据，我们考虑从反事实策略中获得预期奖励的离线估计。我们的估计量具有最低的方差在广泛的一类估计量，实现相对于标准估计量的方差减少。然后，我们应用我们的估计，以改善广告设计的一个主要的广告公司。与理论结果相一致，我们的估计使我们能够改进现有的强盗算法，与最先进的基准相比，具有更高的统计置信度。
2018-12-05 cs.AI cs.IR cs.LG
Large-scale Validation of Counterfactual Learning Methods: A Test-Bed
Criteo；Facebook；University of Amsterdam（阿姆斯特丹大学）；Cornell University（康奈尔大学）；Tsinghua University（清华大学）
执行有效的离策略学习的能力将彻底改变构建更好的交互系统的过程，例如电子商务、计算广告和新闻的搜索引擎和推荐系统。在这些环境中，最近的政策外评估和学习方法似乎很有希望。在本文中，我们提供了真实世界的数据和标准化的测试平台，使用显示广告的数据系统地研究这些算法。特别是，我们考虑的问题，填充横幅广告与用户可能想要购买的多个产品的聚合。本文介绍了我们的测试床，我们运行的健全性检查，以确保其有效性，并显示结果比较国家的最先进的离策略学习方法，如双重鲁棒优化，POEM，并减少到监督学习使用回归基线。我们的研究结果表明，最近的离策略学习方法可以提高国家的最先进的监督学习技术在大规模的现实世界的数据集。
2017-06-25 cs.AI cs.LG stat.ML
Budgeting Counterfactual for Offline RL
Amazon Web Services（亚马逊网络服务）；University of Pennsylvania（宾夕法尼亚大学）
针对离线强化学习中外推误差易累积的问题，提出基于动态规划的反事实决策预算方法，显式约束分布外动作数量，在D4RL基准上性能优于现有最优方法。
2024-05-21 cs.AI cs.LG
Adversarial Counterfactual Environment Model Learning
Nanjing University（南京大学）；Meituan（美团）；Tsinghua University（清华大学）
针对标准数据拟合技术得到的环境模型泛化能力不足的问题，提出对抗性反事实查询风险最小化目标及可处理方案GALILEO，可准确预测反事实数据，显著提升真实场景下的策略表现。
2023-10-09 cs.LG
Spatio-Temporal Graph Neural Networks for Dairy Farm Sustainability Forecasting and Counterfactual Policy Analysis
本文提出了一种基于时空图神经网络的框架，用于从牛群操作记录中预测可持续性指数，并通过反事实政策分析提升奶牛场可持续性。
2025-12-23 cs.LG cs.SY eess.SY
CANDOR: Counterfactual ANnotated DOubly Robust Off-Policy Evaluation
Stanford University（斯坦福大学）；Emory University（埃默里大学）；Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）；The Gladstone Institutes（加利福尼亚大学旧金山分校格罗斯曼研究所）
提出基于双重稳健框架的离策略评估方法，通过仅在奖励模型组件中融入反事实注释，在理论保证和实验上优于其他策略。
2026-05-27 cs.LG stat.ML
Learning What to Remember: Long-horizon Counterfactual Memory Optimization
University of Michigan（密歇根大学）
本文提出记忆增益策略优化（MGPO），通过边际贡献信用分配解决长交互中记忆重写的延迟效用问题，在文档级信息抽取中提升性能并减少近80%记忆长度，支持跨领域复用。
2026-09-30 cs.CL cs.LG
Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
针对现有安全反事实排序学习方法适用范围有限、依赖用户行为假设的问题，提出近端排序策略优化PRPO，通过约束学习模型与安全模型的差异保障安全，实验证明其性能更优且在对抗场景下仍保持安全，为实际应用提供无条件鲁棒安全保障。
2024-09-15 cs.IR cs.LG
Policy Learning with Asymmetric Counterfactual Utilities
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；Sun Yat-sen University（中山大学）
本文针对非对称反事实效用函数下的最优策略学习问题，提出先部分识别期望效用，再基于极小化极大决策规则并通过中间分类问题求解的方法，并应用于右心导管术决策。
2023-11-28 cs.LG stat.ME stat.ML
Out-of-Distribution Adaptation in Offline RL: Counterfactual Reasoning via Causal Normalizing Flows
Mississippi State University（密西西比州立大学）；Massachusetts Institute of Technology（麻省理工学院）
针对离线强化学习的分布外适应问题，提出 MOOD-CRL，利用因果归一化流学习结构因果模型并生成反事实数据，显著优于无模型与基于模型方法。
2024-05-06 cs.AI cs.LG
Blood Glucose Control Via Pre-trained Counterfactual Invertible Neural Networks
The Artificial Intelligence Institute（人工智能研究所）；Harbin Institute of Technology（哈尔滨工业大学）；Faculty of Computing（计算机学院）
本文提出基于反事实可逆神经网络的反思强化学习方法，通过预训练模型提升血糖控制的稳定性和安全性。
2024-07-18 cs.AI cs.LG
CAB: Continuous Adaptive Blending Estimator for Policy Evaluation and Learning
Cornell University（康奈尔大学）；Cornell TRIPODS Center for Data Science（康奈尔大学TRIPODS数据科学中心）
使用记录的上下文强盗反馈执行离线A/B测试和离策略学习的能力在包括推荐系统、搜索引擎、广告投放和个性化医疗保健的广泛应用中是高度期望的。离线A/B测试和离策略学习都需要一个反事实估计器，用于评估如果使用某个新策略而不是日志策略，该策略将如何执行。在本文中，我们确定了一个家庭的反事实估计，其中包括大多数这样的估计提出的日期。我们的分析，这个家庭确定了一个新的估计-连续自适应混合（CAB）-享有许多有利的理论和实践性质。特别地，它可以比修剪的逆倾向分数（IPS）加权和直接方法基本上更少地偏置，并且它可以具有比双重稳健和IPS估计更少的方差。此外，它是次可微的，因此它可以用于学习，不像最小估计量。实验结果表明，CAB提供了良好的评估精度和学习性能优于其他反事实估计。
2019-08-28 cs.LG stat.ML
Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following
Alibaba Group（阿里巴巴集团）
提出CC-OPD反事实约束条件化在线蒸馏方法，通过消融教师条件中的每个约束构建令牌级塑形奖励，提升多约束指令遵循性能，在多个基准上取得最优平均结果，1.5B学生超越7B教师。
2026-09-24 cs.LG stat.ML
Discovering Sparse Counterfactual Factors via Latent Adjustment for Survey-based Community Intervention
本文提出通过潜在调整发现稀疏反事实因素，用于基于调查的社区干预，通过可控调查变量调整转移目标群体向参考群体，采用固定基非负潜在表示进行分布对齐，结合Shapley引导归因和熵正则最优传输差异优化政策可行性。
2026-05-08 cs.LG
AlphaG-OPD: Reliability-Gated Sibling Counterfactuals for On-Policy Distillation in Symbolic Alpha Factor Discovery
针对符号阿尔法因子发现中结构决策无直接标签的问题，提出AlphaG-OPD框架，通过三个决策模块将终端因子评估转化为局部动作指导，经多市场多种子测试展现出强劲跨市场表现。
2026-08-04 cs.LG
A Simpler Alternative to Variational Regularized Counterfactual Risk Minimization
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
本文提出了一种直接最小化$f$-散度近似的新方法，替代了基于$f$-GAN下界的变分正则化反事实风险最小化（VRCRM），在无法重现原始结果的情况下，经验上表现更优。
2024-10-13 cs.LG
Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap
研究在线控制实验中A/B测试方差大成本高问题，提出利用策略重叠加速实验的新协议，将随机处理分配机制视为元策略，用Δ-离策略估计方法获无偏估计，理论和实证证明该方法可提升效率，有望用于多种系统评估。
2026-07-17 cs.IR cs.LG stat.ME
Counterfactual learning of new adaptive instructional policies using logged data
提出离线上下文赌博机框架，基于Rasch模型映射学生-项目交互到连续潜变量，通过平衡挑战与成功的奖励函数优化“心流”，在四个真实数据集上实现策略改进。
2026-06-23 cs.LG
Explaining Reinforcement Learning Policies through Counterfactual Trajectories
Boston University（波士顿大学）；UC Berkeley（加州大学伯克利分校）；Harvey Mudd College（哈维穆德学院）
为了让人类能够自信地决定在哪里使用RL代理来执行现实任务，人类开发人员必须验证代理在测试时表现良好。一些策略可解释性方法通过在一组代理推出中捕获策略的决策来促进这一点。然而，即使是训练时间行为的最具信息量的轨迹也可能对代理的分布外行为没有什么洞察力。相比之下，我们的方法传达代理如何执行下分布偏移通过显示代理的行为在一个更广泛的轨迹分布。我们通过引导代理到更多样化的看不见的状态并显示代理的行为来生成这些轨迹。在用户研究中，我们证明了我们的方法使用户能够在两个代理验证任务中的一个上获得比基线方法更好的分数。
2022-03-19 cs.AI cs.HC cs.LG
Policy Analysis using Synthetic Controls in Continuous-Time
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of California Los Angeles（加州大学洛杉矶分校）
使用合成控制的反事实估计是因果推断中最成功的方法学发展之一。尽管其受欢迎，但当前描述仅考虑跨单元对齐的时间序列和表达为所观察的控制单元的线性组合的合成控制。我们提出了一个连续时间的替代模型，明确使用控制微分方程的形式主义的潜在的反事实路径。该模型直接适用于不规则对齐的多变量时间序列的一般设置，并且可以在丰富的函数空间中进行优化-从而改善现有方法的一些局限性。
2021-02-02 cs.LG stat.ML
Prediction Sets for Counterfactual Decisions: Coverage, Optimality, and Conformal Prediction
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系）
提出决策理论框架，通过策略耦合覆盖性将不确定性量化与反事实决策最优结合，并开发两阶段共形预测方法PC-RACP，在保证覆盖的同时提升效用。
2026-07-03 cs.LG math.ST stat.ML
Personalized Public Policy Analysis in Social Sciences using Causal-Graphical Normalizing Flows
Chalmers University of Technology（查尔姆斯理工大学）
结构方程/因果模型（SEM/SCM）被广泛应用于流行病学和社会科学中，以识别和分析平均因果效应（ACE）和条件ACE（CACE）。传统的因果效应估计方法，如逆概率加权（IPW）和最近的回归与残差（RWR）被广泛使用-因为它们避免了识别SCM参数的挑战性任务-估计ACE和CACE。然而，在传统的估计方法可以用于反事实推理之前，还有很多工作要做，并且有利于社会科学中的个性化公共政策分析（P $^3$ A）。当医生依靠个性化医疗在实验室环境（相对封闭系统）中为患者量身定制治疗时，P $^3$ A从这种定制中汲取灵感，但将其适用于开放的社会系统。在本文中，我们开发了一种反事实推理方法，我们将其命名为因果图形规范化流（c-GNF），以促进P $^3$ A。首先，我们展示了c-GNF如何在不对函数形式做任何假设的情况下捕获底层SCM。其次，我们提出了一种新的去量化技巧来处理离散变量，这是一般规范化流的限制。第三，我们在实验中证明，c-GNF在估计ATE的偏差和方差方面与IPW和RWR表现相当，当真实的函数形式是已知的，并且当它们是未知的时更好。第四，也是最重要的一点，我们用c-GNF进行反事实推理，展示了有前途的实证表现。由于IPW和RWR，像其他传统方法一样，缺乏反事实推理的能力，c-GNF可能会在定制个性化治疗，促进P $^3$ A，优化社会干预方面发挥重要作用-与现有方法的“一刀切”方法…
2022-04-30 cs.AI cs.LG stat.ML
Generating robust counterfactual explanations
Orange Innovation（Orange创新中心）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机过程研究所）
针对反事实解释对输入变化缺乏鲁棒性的问题，本文提出 CROCO 框架，在鲁棒性与样本邻近性之间进行权衡并保证最低鲁棒性，表格数据集实验验证了其有效性。
2023-04-24 cs.AI cs.LG
Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
Centrum Wiskunde & Informatica (CWI)（数学和计算机科学中心（CWI））；Eindhoven University of Technology（埃因霍温理工大学）
该研究针对帕累托条件强化学习的帕累托条件网络，提出命令空间反事实解释方法CF-ZOO，通过边界种子方向搜索生成可操作的直观解释。
2026-08-18 cs.AI cs.HC cs.LG
CT-OPD: Counterfactual Trace On-Policy Distillation for Diffusion Vision-Language Models
针对扩散视觉语言模型后训练中掩码与模型揭示决策不一致的问题，提出CT-OPD，结合教师完整响应与学生轨迹掩码重建状态进行在策略蒸馏，在多个基准上平均提升最高9.80分。
2026-09-29 cs.CV cs.LG
Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）；University of Granada（格拉纳达大学）；DaSCI Andalusian Institute of Data Science and Computational Intelligence（DaSCI安达卢西亚数据科学与计算智能研究所）；Medical University of Graz（格拉茨医科大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
对于深度学习模型在涉及复杂数据的任务中的重要性，人们达成了广泛的共识。通常，在关注对人类至关重要的应用程序中的决策透明度时，需要充分理解这些模型。除了其他可解释性技术，可信度可以通过使用反事实来实现，就像人类熟悉未知过程的方式一样：通过理解输出变化的假设环境。在这项工作中，我们认为，自动反事实生成应该考虑几个方面的对抗性实例，而不仅仅是他们的对抗能力。为此，我们提出了一种新的框架，用于生成反事实示例，该框架将其目标制定为平衡三个不同目标的多目标优化问题：1）可扩展性，即，根据输入数据的分布，反事实的可能性; 2）原始输入的变化强度;以及3）对抗能力，即由反事实引起的模型输出的可变性。该框架从要审计的目标模型出发，并使用生成对抗网络来对输入数据的分布进行建模，以及用于发现这些目标之间的反事实平衡的多目标求解器。该框架的效用是展示了六个分类任务，包括图像和三维数据。实验证明，该框架揭示了符合直觉的反事实，增加了用户的可信度，并导致进一步的见解，如检测偏见和数据误报。
2022-05-20 cs.AI cs.LG
