Counterfactual Policy Evaluation for Decision-Making in Autonomous Driving
fortiss GmbH(fortiss有限公司);Technische Universität München(慕尼黑工业大学)
基于学习的方法,如强化和模仿学习,在自动驾驶的决策中越来越受欢迎。然而,学习策略往往不能推广,不能很好地处理新的情况。以“如果其他代理人的行为不同,策略是否会表现良好?“可以说明一项政策是否在培训期间出现过类似情况,并能很好地概括。在这项工作中,介绍了一个反事实的政策评估,利用反事实的世界-世界中,其他人的行为是非实际的。如果一个策略能够很好地处理所有的反事实世界,那么它要么在训练过程中遇到过类似的情况,要么它概括得很好,被认为足够适合在现实世界中执行。此外,通过执行反事实的政策评估,因果关系和改变车辆的行为对周围车辆的影响变得明显。为了验证所提出的方法,我们学习的政策,使用强化学习车道合并的情况。在应用阶段,只有在执行了反事实策略评估之后,并且如果发现策略足够安全,才执行策略。我们表明,所提出的方法显着降低了碰撞率,同时保持了较高的成功率。
2020-11-12 cs.AI cs.LG cs.RO
CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization
ByteDance(字节跳动)
研究基于评分标准的强化学习中响应内信用分配问题,提出CoRT方法,利用反事实重放对响应重新评分,将对比映射为权重来重新分配优势,实验表明该方法能有效提升训练效果,兼具简单性与稳定性。
2026-07-29 cs.AI
Efficient Computation of Counterfactual Bounds
IDSIA(IDSIA研究所);University of Almería(阿尔梅里亚大学)
本文研究如何从结构因果模型和内部节点数据中高效计算部分可识别反事实查询的界限,提出因果EM近似方案,并通过合成基准和姑息治疗案例验证其准确性与实用性。
2023-12-04 cs.AI
CFR-p: Counterfactual Regret Minimization with Hierarchical Policy Abstraction, and its Application to Two-player Mahjong
针对麻将这类比德州扑克更复杂的不完全信息博弈问题,提出基于分层策略抽象的CFR-p框架,通过博弈论分析与策略分层改进CFR算法,可推广至其他同类博弈场景。
2023-07-22 cs.AI econ.GN q-fin.EC
Counterfactual Regret for Reflective Agents with Lean-Verified Guarantees
School of Computer Science and Technology(计算机科学与技术学院);School of Artificial Intelligence(人工智能学院);China University of Mining and Technology(中国矿业大学)
本文针对反思型语言智能体的长期性能保证缺口,推导次线性反事实遗憾的充分条件,在Lean中形式化13个理论结果的证明链,为资源约束下的智能体提供了Lean验证的保证。
2026-10-14 cs.AI
Canonical Representations of Markovian Structural Causal Models: A Framework for Counterfactual Reasoning
本文提出结构因果模型的规范表示(反事实模型),通过归一化程序分离反事实选择与干预约束,从而在保留干预知识的同时灵活实现多种反事实假设,无需个体层面估计。
2025-09-22 cs.AI math.ST stat.TH
Causal Counterfactuals Reconsidered
University College London(伦敦大学学院)
本文提出了一种扩展的反事实概率语义,结合了对因果决定论的否定与对反事实语义可能性的认可。
2025-12-14 cs.AI
Counterfactual Multi-Agent Policy Gradients
University of Oxford(牛津大学)
针对协作多智能体系统的去中心化策略学习及信用分配问题,提出反事实多智能体策略梯度方法COMA,采用中心化评论家加去中心化演员架构,通过反事实基线高效分配信用,在星际争霸微操作任务中性能优于同类方法且比肩顶尖中心化控制器。
2024-12-11 cs.AI cs.MA
Counterfactual Reasoning in Linear Structural Equation Models
Kyoto University(京都大学);Osaka University(大阪大学)
考虑变量之间的因果关系可以描述为高斯线性结构方程模型的情况。本文讨论的问题是,如果一个处理变量被分配给某个值(反事实地),给定一组变量被观察(实际上),那么一个响应变量的方差将如何变化。为了实现这一目标,我们通过总效应和协方差矩阵重新表述了Balke和Pearl(1995)提出的反事实分布公式。我们进一步将Balke和Pearl(1995)的框架从点观测扩展到区间观测,从无条件计划扩展到条件计划。本文的结果使我们能够澄清反事实分布的性质,并建立一个最优方案。
2012-07-04 cs.AI stat.ME
Achieving Counterfactual Fairness with Imperfect Structural Causal Model
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实公平性是指模型对现实世界(观察数据)中的个体的预测与反事实世界(即,如果该人属于其他敏感群体,该怎么办?现有的研究需要预先定义结构因果模型,以捕捉变量之间的相关性进行反事实推理;然而,潜在的因果模型通常是未知的,并且难以在现实世界中验证。此外,因果模型的错误设定可能会导致模型预测性能低下,从而做出不公平的决策。在这项研究中,我们提出了一种新的极小极大博弈理论模型的反事实的公平性,可以产生准确的结果,同时实现一个反事实的公平决策与结构因果模型的强假设放松。此外,我们还从理论上证明了所提出的minimax模型的误差界。在多个真实世界数据集上的实证实验表明,我们在准确性和公平性方面都有出色的表现。源代码可从\url{https://github.com/tridungduong16/counterfactual_fairness_game_theoretic}获得。
2023-03-26 cs.AI cs.CY cs.LG
Genie: An Open Box Counterfactual Policy Estimator for Optimizing Sponsored Search Marketplace
Microsoft Bing Ads(微软必应广告)
在本文中,我们提出了一个离线反事实的政策估计框架称为精灵优化赞助搜索市场。Genie采用了一个带有点击校准模型的开箱模拟引擎来计算对系统的任何修改对KPI的影响。从Bing流量的实验结果来看,我们发现Genie的表现优于现有的观察方法,这些方法采用随机实验来研究频繁更新策略的流量切片。我们还表明,精灵可以用来调整完全新的政策,有效地没有创建危险的随机实验,由于冷启动问题。截至目前,Genie每年托管超过10000个优化作业,为Bing Ads运行超过3000万个处理节点小时的大数据作业。在过去的3年里,Genie已被证明是优化Bing Ads Marketplace的主要平台之一,因为它在频繁的政策变化下具有可靠性,并且在实际实验中能够最大限度地降低风险。
2018-08-22 cs.AI cs.LG stat.ML
CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation
University of Science and Technology of China(中国科学技术大学);Hong Kong Polytechnic University(香港理工大学)
针对多模态大语言模型的粗粒度遗忘问题,提出 CUSE 框架,通过反事实引导与在线策略自蒸馏实现细粒度遗忘,在 MLLMU-Bench 上同时提升遗忘集与保留集的 ROUGE-L 表现。
2026-10-14 cs.AI cs.CL
Counterfactual Explanation Policies in RL
Adobe(奥多比公司);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Manipal Institute Of Technology(马尼帕尔理工学院);Harvard University(哈佛大学)
本文提出COUNTERPOL框架,利用反事实解释分析强化学习策略,通过最小策略改变实现期望回报,并在五个环境上验证其有效性与理论联系。
2023-07-25 cs.AI cs.LG
Transfer learning with causal counterfactual reasoning in Decision Transformers
causaLens;King’s College London(伦敦国王学院)
适应环境突发事件变化的能力是强化学习中的一个重要挑战。事实上,将先前获得的知识转移到具有看不见的结构特性的环境中可以大大提高构建新的最优策略的灵活性和效率。在这项工作中,我们研究了环境动态变化下的迁移学习问题。在这项研究中,我们在离线强化学习设置中应用因果推理,将学习到的策略转移到新的环境中。具体来说,我们使用决策Transformer(DT)架构来提取新环境的新策略。DT通过在源环境的事实和反事实模拟上执行策略部署来收集数据。我们表明,这种机制可以引导一个成功的政策目标环境,同时保留大部分的奖励。
2021-10-27 cs.AI cs.LG stat.ML
APRIL: Annotations for Policy evaluation with Reliable Inference from LLMs
Stanford University(斯坦福大学)
APRIL利用大语言模型生成医疗领域的反事实注释,以提高离线策略评估的准确性与可扩展性。
2025-11-21 cs.AI cs.LG
Off-Policy Evaluation and Counterfactual Methods in Dynamic Auction Environments
Michigan State University(密歇根州立大学);Expedia Group(亿客行集团)
本文研究动态拍卖资源分配中的OPE问题,提出在A/B测试前使用反事实估计器快速评估候选策略,以降低实验成本并支持更明智的策略选择。
2025-01-09 cs.AI cs.LG q-fin.CP
Counterfactual Learning with General Data-generating Policies
Yale University(耶鲁大学);Northwestern University(西北大学);Mercari, Inc.(Mercari 株式会社);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
脱离策略评估(OPE)尝试使用来自不同策略的日志数据来预测反事实策略的性能。我们扩展了它的适用性,通过开发一个OPE的方法为一类完全支持和不足的支持日志记录政策的上下文强盗设置。该类包括确定性的强盗(如置信上限)以及基于监督和无监督学习的确定性决策。我们证明,我们的方法的预测收敛概率的真实表现的反事实的政策作为样本量的增加。我们验证我们的方法与实验部分和完全确定性的日志记录政策。最后,我们应用它来评估一个主要的在线平台的优惠券定位政策,并展示如何改进现有的政策。
2022-12-04 cs.AI cs.LG econ.EM
Learning Which Evidence-Seeking Decisions Matter: Calibrated Counterfactual Replay for Language Agents
stu.ahu.edu.cn(安徽大学)
提出CVT-RL算法,通过策略条件反事实贡献估计和可验证奖励约束,解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题,在多个任务上提升成功率并降低作弊率。
2026-11-20 cs.AI cs.LG
Benchmarking Counterfactual Prediction in Epidemic Time Series with Time-Varying Interventions
University of Michigan Computer Science and Engineering(密歇根大学计算机科学与工程系);University of Michigan Epidemiology & Complex Systems(密歇根大学流行病学与复杂系统)
为解决缺乏可观测反事实结果的真实基准问题,基于校准的基于智能体的模型生成大规模流行病时间序列反事实预测基准,支持静态/时变治疗和单/多策略干预,评估多种因果推断方法。
2026-06-16 cs.AI cs.LG
LIBERTy: A Causal Framework for Benchmarking Concept-Based Explanations of LLMs with Structural Counterfactuals
Technion – Israel Institute of Technology(以色列理工学院)
LIBERTy提出了一种基于因果框架的基准测试框架,通过结构反事实评估LLM基于概念的解释,改进了可解释性方法的可信度。
2026-01-18 cs.AI cs.CL
Curriculum Learning With Counterfactual Group Relative Policy Advantage For Multi-Agent Reinforcement Learning
School of Information and Communications Engineering, Xi'an Jiaotong University(西安交通大学信息与通信工程学院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系)
针对MARL在动态对抗环境中的适应与信用分配难题,提出结合自适应难度课程和CGRPA反事实优势的框架,提升非平稳条件下的训练稳定性与最终性能。
2025-06-09 cs.AI cs.RO
CDPR: Counterfactual Advantage-based Credit Assignment for Cost-Aware Sequential Medical Diagnosis
该研究针对医疗诊断模型忽略检查成本与价值权衡的问题,提出CDPR方法,将诊断建模为成本感知序列决策过程,集成到GRPO后在多数据集上提升诊断准确率并减少检查数量与成本。
2026-09-01 cs.AI
Tractable Bounding of Counterfactual Queries by Knowledge Compilation
IDSIA(瑞士人工智能研究所);UCLA(加州大学洛杉矶分校)
针对Pearl结构因果模型中反事实等部分可识别查询的边界计算问题,提出基于单次符号知识编译为带符号参数算术电路的方法,结合并行化技术,实现最高达一个数量级的推理加速。
2023-10-05 cs.AI
Eventual Discounting Temporal Logic Counterfactual Experience Replay
Caltech(加州理工学院);Penn State(宾夕法尼亚州立大学);Latitude AI(Latitude人工智能公司)
线性时序逻辑(LTL)提供了一种简化的方式来指定策略优化的任务,否则可能难以用标量奖励函数来描述。然而,标准RL框架可能过于短视,无法找到最大限度的LTL满足政策。本文有两个贡献。首先,我们开发了一个新的价值函数为基础的代理,使用一种技术,我们称之为最终折扣,根据该技术可以找到满足LTL规范的政策,以最高的可实现概率。其次,我们开发了一种新的经验重放方法,通过反事实推理的不同方式来满足LTL规范,从政策上的推出生成政策外的数据。我们的实验,在离散和连续的状态-动作空间进行,证实了我们的反事实经验重放方法的有效性。
2023-03-03 cs.AI cs.LG cs.LO
Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework
Penn State Harrisburg(宾夕法尼亚州立大学哈里斯堡分校)
本研究提出基于知识图谱反事实的框架,通过最小结构扰动解释微调LLM,揭示其结构依赖与LoRA参数偏移的关联。
2025-09-25 cs.AI cs.LG
Counterfactual experience augmented off-policy reinforcement learning
Wuhan University of Science and Technology(武汉科技大学);College of Science(理学院);Intelligent Automobile Engineering Research Institute(智能汽车工程研究院);School of Automobile and Traffic Engineering(汽车与交通工程学院)
针对强化学习分布外与探索低效问题,提出CEA算法,利用变分自编码器和反事实推理扩展经验池,并在多类环境中优于SOTA方法。
2025-03-18 cs.AI cs.LG stat.ML
Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation
Johns Hopkins Carey Business School(约翰斯·霍普金斯凯瑞商学院);International Computer Science Institute(国际计算机科学研究所);Pennsylvania State University(宾夕法尼亚州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文针对上下文多臂老虎机离线策略评估的预算约束多源反事实标注问题,构建整数分配模型并提出带动态规划子例程的优化算法,实验显示其可降低均方误差。
2026-10-09 cs.AI cs.LG math.OC
CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment
CounterRoute提出在线强化学习框架,联合学习路由与模式条件响应,通过反事实信用分配和课程训练,在九个基准上提升准确率并大幅减少生成令牌,且泛化良好。
2026-09-29 cs.AI
Counterfactual-Augmented Importance Sampling for Semi-Offline Policy Evaluation
Computer Science & Engineering(计算机科学与工程系);University of Michigan, Ann Arbor, MI, USA(密歇根大学安娜堡分校)
本文提出一种半离线策略评估框架,利用人类标注的反事实轨迹设计基于重要性采样的新估计器,在不引入额外偏差的前提下降低偏差和方差,并在赌博机和医疗模拟器中验证其优于纯离线方法且对不完美标注具有鲁棒性。
2023-10-26 cs.AI cs.LG
Brain-Atlas-Guided Generative Counterfactual Attention for Explainable Cognitive Decline Diagnosis Using Multimodal Connectomes
Department of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术系);School of Intelligence Science and Engineering, College of Artificial Intelligence, Harbin Institute of Technology(哈尔滨工业大学智能科学与工程学院);School of Biomedical Engineering, National-Regional Key Technology Engineering Laboratory for Medical Ultrasound, Guangdong Key Laboratory for Biomedical, Measurements and Ultrasound Imaging, Shenzhen University Medical School, Shenzhen University(深圳大学医学院生物医学工程学院、医学超声关键技术工程实验室、广东省生物医学测量与超声成像重点实验室)
提出一种脑图谱知识引导的生成式反事实注意力网络(GCAN),通过将诊断建模为源到目标的反事实生成问题,利用多模态连接组实现可解释的认知衰退诊断。
2026-05-31 cs.AI
Not Every Divergence Should Be Suppressed: Counterfactual Recoverability in On-Policy Distillation
该研究针对在线策略蒸馏中偏差规则无法判断错误前缀是否可纠正的问题,提出反事实可恢复性方法,通过分支分类状态,实现更强的监督效果与性能提升。
2026-09-29 cs.AI cs.LG
MemCorr-DP: Counterfactual Correspondence Conditioning for a Diffusion Policy Guided by a Reference
Southern University of Science and Technology(南方科技大学);Sun Yat-sen University(中山大学)
针对物体位置与视角同时变化时行为克隆策略失效的问题,提出MemCorr-DP扩散策略,利用显式3D参考关系与反事实配对目标,在组合偏移下实现96.67%的闭环成功率。
2026-09-09 cs.AI cs.RO
Counterfactual Shapley Credit Assignment
研究信用分配问题,提出基于因果理论的反事实沙普利信用分配框架,通过反事实沙普利值分配功劳责任,推导有效估计器实现$\phi$-PPO方法,结合优先轨迹重放,在复杂环境中有卓越样本效率,能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
Generalized Off-Policy Actor-Critic
University of Oxford(牛津大学)
我们提出了一个新的目标,反事实的目标,统一现有的目标,政策外的策略梯度算法在持续的强化学习(RL)设置。通常使用的偏移目标,这可能会误导部署时的目标策略的性能相比,我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度,并使用一个无偏的方法来获得一个无偏的样本,从这个策略梯度,产生广义的政策外Actor-Critic(Geoff-PAC)算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点,这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Thinking Fast, Thinking Wrong: Intuitiveness Modulates LLM Counterfactual Reasoning in Policy Evaluation
Independent Researcher(独立研究者)
本研究构建了一个基于经济学和社会科学实证案例的基准,通过8000次实验评估大型语言模型在政策评估中的反事实推理,发现链式思维提示在反直觉案例中效果显著减弱,且直觉性是主导因素,表明模型存在知识-推理分离。
2026-05-28 cs.AI cs.CL
U-CECE: A Universal Multi-Resolution Framework for Conceptual Counterfactual Explanations
Artificial Intelligence and Learning Systems (AILS) laboratory, National Technical University of Athens(人工智能与学习系统实验室,国家技术大学(雅典))
本文提出U-CECE框架,旨在解决概念反事实方法在表达性和效率之间的权衡问题,通过多分辨率层次结构提供不同层次的解释能力,并在不同数据集上验证了其效率与表达性的平衡。
2026-10-08 cs.AI cs.CV
Efficient Counterfactual Learning from Bandit Feedback
Yale University(耶鲁大学);CyberAgent Inc.(CyberAgent公司)
使用来自bandit反馈的批量数据进行非策略评估和优化的最有效的统计方法是什么?对于由上下文强盗算法生成的日志数据,我们考虑从反事实策略中获得预期奖励的离线估计。我们的估计量具有最低的方差在广泛的一类估计量,实现相对于标准估计量的方差减少。然后,我们应用我们的估计,以改善广告设计的一个主要的广告公司。与理论结果相一致,我们的估计使我们能够改进现有的强盗算法,与最先进的基准相比,具有更高的统计置信度。
2018-12-05 cs.AI cs.IR cs.LG
Large-scale Validation of Counterfactual Learning Methods: A Test-Bed
Criteo;Facebook;University of Amsterdam(阿姆斯特丹大学);Cornell University(康奈尔大学);Tsinghua University(清华大学)
执行有效的离策略学习的能力将彻底改变构建更好的交互系统的过程,例如电子商务、计算广告和新闻的搜索引擎和推荐系统。在这些环境中,最近的政策外评估和学习方法似乎很有希望。在本文中,我们提供了真实世界的数据和标准化的测试平台,使用显示广告的数据系统地研究这些算法。特别是,我们考虑的问题,填充横幅广告与用户可能想要购买的多个产品的聚合。本文介绍了我们的测试床,我们运行的健全性检查,以确保其有效性,并显示结果比较国家的最先进的离策略学习方法,如双重鲁棒优化,POEM,并减少到监督学习使用回归基线。我们的研究结果表明,最近的离策略学习方法可以提高国家的最先进的监督学习技术在大规模的现实世界的数据集。
2017-06-25 cs.AI cs.LG stat.ML
Deep Counterfactual Estimation with Categorical Background Variables
KU Leuven(鲁汶大学)
反事实查询被称为因果推理阶梯的第三级,通常会问“如果?“回顾性提问。估计反事实的标准方法在于使用结构方程模型,该模型准确地反映了底层数据生成过程。然而,这样的模型很少在实践中,人们通常希望推断他们从观测数据。不幸的是,正确的结构方程模型通常无法从观察到的实际分布中识别出来。然而,在这项工作中,我们表明,在假设的主要潜在贡献者的治疗反应是分类的,反事实仍然可以可靠地预测。在此假设的基础上,我们引入了反事实查询预测(CFQP),一种新的方法来推断反事实连续观测时,背景变量是分类的。我们表明,无论是在理论上还是在经验上,我们的方法在时间序列和图像数据上都明显优于以前可用的基于深度学习的反事实方法。我们的代码可在https://github.com/edebrouwer/cfqp上获得。
2023-01-16 cs.AI cs.LG stat.ME
Budgeting Counterfactual for Offline RL
Amazon Web Services(亚马逊网络服务);University of Pennsylvania(宾夕法尼亚大学)
针对离线强化学习中外推误差易累积的问题,提出基于动态规划的反事实决策预算方法,显式约束分布外动作数量,在D4RL基准上性能优于现有最优方法。
2024-05-21 cs.AI cs.LG
How do features act in an individual prediction? Separating standalone and interaction effects with a case-based taxonomy
Dankook University(檀国大学)
该研究提出A-CBFI框架,结合结构分解与因果反事实追索,在金融、医疗领域可降低76.9%主动干预负担,保持因果有效性与追索成本,实现针对性可操作的反事实追索。
2026-11-19 cs.AI cs.LG
Distribution-consistency Structural Causal Models
Kuaishou Inc.(快手公司);Shanghai AI Laboratory(上海人工智能实验室);Indiana University(印第安纳大学)
本文针对潜在结果和结构因果模型在反事实建模中的“退化反事实问题”,提出分布一致性假设与DiscoSCMs框架,引入一致性概率参数,并给出因果阶梯的理论结果,显著增强了反事实建模能力。
2024-03-23 cs.AI math.ST stat.TH
RoboAware: Learning to Coordinate Embodied Skills from Counterfactual Outcomes
RoboAware是一种基于反事实结果学习的具身技能协调方法,通过$P^5$架构、SCB和EAL技术,在100个任务上总体成功率达77.0%,优于现有基线方法。
2026-10-09 cs.AI cs.RO
Out-of-Distribution Adaptation in Offline RL: Counterfactual Reasoning via Causal Normalizing Flows
Mississippi State University(密西西比州立大学);Massachusetts Institute of Technology(麻省理工学院)
针对离线强化学习的分布外适应问题,提出 MOOD-CRL,利用因果归一化流学习结构因果模型并生成反事实数据,显著优于无模型与基于模型方法。
2024-05-06 cs.AI cs.LG
BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents
University of Chicago(芝加哥大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Stanford University(斯坦福大学);University of Science and Technology of China(中国科学技术大学);Meituan(美团)
针对分组强化学习中状态-动作信用分配不匹配问题,提出BiPACE优势估计器,通过双模拟引导的状态聚类和动作反事实基线,在无需批评网络或额外采样的前提下提升LLM智能体训练效果。
2026-06-25 cs.AI cs.CL cs.LG
Explaining Reinforcement Learning Policies through Counterfactual Trajectories
Boston University(波士顿大学);UC Berkeley(加州大学伯克利分校);Harvey Mudd College(哈维穆德学院)
为了让人类能够自信地决定在哪里使用RL代理来执行现实任务,人类开发人员必须验证代理在测试时表现良好。一些策略可解释性方法通过在一组代理推出中捕获策略的决策来促进这一点。然而,即使是训练时间行为的最具信息量的轨迹也可能对代理的分布外行为没有什么洞察力。相比之下,我们的方法传达代理如何执行下分布偏移通过显示代理的行为在一个更广泛的轨迹分布。我们通过引导代理到更多样化的看不见的状态并显示代理的行为来生成这些轨迹。在用户研究中,我们证明了我们的方法使用户能够在两个代理验证任务中的一个上获得比基线方法更好的分数。
2022-03-19 cs.AI cs.HC cs.LG
Personalized Public Policy Analysis in Social Sciences using Causal-Graphical Normalizing Flows
Chalmers University of Technology(查尔姆斯理工大学)
结构方程/因果模型(SEM/SCM)被广泛应用于流行病学和社会科学中,以识别和分析平均因果效应(ACE)和条件ACE(CACE)。传统的因果效应估计方法,如逆概率加权(IPW)和最近的回归与残差(RWR)被广泛使用-因为它们避免了识别SCM参数的挑战性任务-估计ACE和CACE。然而,在传统的估计方法可以用于反事实推理之前,还有很多工作要做,并且有利于社会科学中的个性化公共政策分析(P $^3$ A)。当医生依靠个性化医疗在实验室环境(相对封闭系统)中为患者量身定制治疗时,P $^3$ A从这种定制中汲取灵感,但将其适用于开放的社会系统。在本文中,我们开发了一种反事实推理方法,我们将其命名为因果图形规范化流(c-GNF),以促进P $^3$ A。首先,我们展示了c-GNF如何在不对函数形式做任何假设的情况下捕获底层SCM。其次,我们提出了一种新的去量化技巧来处理离散变量,这是一般规范化流的限制。第三,我们在实验中证明,c-GNF在估计ATE的偏差和方差方面与IPW和RWR表现相当,当真实的函数形式是已知的,并且当它们是未知的时更好。第四,也是最重要的一点,我们用c-GNF进行反事实推理,展示了有前途的实证表现。由于IPW和RWR,像其他传统方法一样,缺乏反事实推理的能力,c-GNF可能会在定制个性化治疗,促进P $^3$ A,优化社会干预方面发挥重要作用-与现有方法的“一刀切”方法…
2022-04-30 cs.AI cs.LG stat.ML