Explainable Machine Learning for Public Policy: Use Cases, Gaps, and Research Directions
Carnegie Mellon University（卡内基梅隆大学）
可解释性在机器学习（ML）系统中非常重要，这些系统支持健康，刑事司法，教育和就业等领域的高风险政策决策。虽然近年来可解释的机器学习领域已经扩大，但大部分工作都没有考虑到现实世界的需求。大多数提出的方法都是以\textit{generic}可解释性目标设计的，没有明确定义的用例或预期的最终用户，并在简化的任务、基准问题/数据集或代理用户（例如，AMT）。我们认为，这些简化的评估设置没有捕捉到现实世界中的应用程序的细微差别和复杂性。因此，在现实世界中的应用，这一庞大的理论和方法的工作的适用性和有效性是不清楚的。在这项工作中，我们采取措施解决公共政策领域的这一差距。首先，我们确定了公共政策问题中可解释ML的主要用例。对于每个用例，我们定义解释的最终用户以及解释必须实现的特定目标。最后，我们将现有的可解释机器学习工作映射到这些用例，确定现有能力的差距，并提出研究方向来填补这些差距，通过机器学习产生实际的社会影响。其贡献是：1）为可解释的机器学习研究人员提供了一种方法，以识别用例并开发针对它们的方法; 2）将该方法用于公共政策领域，并为研究人员提供了一个开发可解释的机器学习方法的例子，从而产生现实世界的影响。
2023-02-16 cs.AI cs.LG
Neetyabhas: A Framework for Uncertainty-Aware Public Policy Optimization in Rational Agent-Based Models
ThoughtWorks
提出一种集成流行病测量和政策执行不确定性的分层强化学习框架，通过模拟个体行为与政策干预的交互，有效管理疫情并降低影响。
2026-06-03 cs.AI cs.LG cs.SI
RAPID: An Efficient Reinforcement Learning Algorithm for Small Language Models
University of Pennsylvania（宾夕法尼亚大学）
针对小语言模型强化学习微调资源消耗大、耗时长的问题，提出RAPID算法，通过大批次推理、小批次离轨策略梯度更新结合组优势估计与重要性加权校正偏差，在三个基准上以更短运行时间实现相近或更优准确率。
2025-10-03 cs.LG
Adapting Rapid Motor Adaptation for Bipedal Robots
University of California Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
腿运动的最新进展使四足动物能够在具有挑战性的地形上行走。然而，双足机器人本质上更不稳定，因此很难为它们设计行走控制器。在这项工作中，我们利用最新的进展，快速适应运动控制，并将其扩展到双足机器人。类似于现有的作品，我们从一个基本的政策，产生的行动，同时作为输入的估计extrinsics向量从适应模块。这个外部向量包含有关环境的信息，使步行控制器能够快速在线适应。然而，外部估计器可能是不完美的，这可能导致期望完美估计器的基本策略的性能较差。在本文中，我们提出了A-RMA（自适应RMA），它通过使用无模型RL对其进行微调，从而为不完美的外生估计量调整基本策略。我们证明，A-RMA优于一些基于RL的基线控制器和基于模型的控制器在仿真中，并显示zero-shot部署一个单一的A-RMA政策，使双足机器人，卡西，走在各种不同的情况下，在现实世界中超出了它在训练过程中看到的。视频和结果https://ashish-kmr.github.io/a-rma/
2022-09-06 cs.AI cs.CV cs.LG
Privileged observations enable rapid and reliable policy discovery directly in the physical world
ETH Zürich（苏黎世联邦理工学院）
本文利用强化学习研究反馈在技能习得中的作用，发现高维流反馈有助于发现高性能策略，但无反馈时仍能完成任务，表明学习条件取决于目标而非动态或策略复杂性。
2026-09-15 cs.AI cs.LG cs.RO
Reward as Observation: Learning Reward-Based Policies for Rapid Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究所）
本文提出仅以奖励和动作为条件的策略，实现观测空间完全不同的环境间零样本迁移，并验证其在多种环境中的有效性及对观测策略训练的指导作用。
2026-10-07 cs.LG cs.RO
The Phenomenon of Policy Churn
DeepMind（深度思维）
我们识别并研究了基于值的强化学习中的策略扰动现象，即贪婪策略的快速变化。策略搅动以惊人的速度运行，在少数学习更新中改变了大部分状态中的贪婪行为（在典型的深度RL设置中，如Atari上的DQN）。我们凭经验验证了这一现象，验证了它不限于特定的算法或环境属性。大量的消融有助于将为什么会出现流失的合理解释减少到少数，所有这些都与深度学习有关。最后，我们假设，政策流失是一个有益的，但被忽视的形式隐式的探索，铸造$ε$ -贪婪的探索在一个新的光，即$ε$ -噪声起着比预期小得多的作用。
2022-10-20 cs.AI cs.LG stat.ML
Choices, Risks, and Reward Reports: Charting Public Policy for Reinforcement Learning Systems
从长远来看，强化学习（RL）被许多人工智能理论家认为是实现人工智能的最有前途的途径。这使得RL从业者能够设计以前从未存在过的系统，并且缺乏法律和政策中的先前文件。公共机构可以干预复杂的动态，这些动态以前太不透明而无法考虑，长期的政策雄心最终将变得易于驾驭。在本白皮书中，我们阐述了这一潜力，以及如何在能源基础设施、社交媒体推荐系统和交通运输等领域实现这一潜力。伴随着这些前所未有的干预措施而来的是新形式的风险，这些风险加剧了标准机器学习工具已经产生的危害。我们相应地提出了一种新的类型的风险所产生的RL设计的选择，分为四类：范围的视野，定义奖励，修剪信息，并培训多个代理。政策制定者不应该允许强化学习系统单方面重塑人类领域，而需要新的机制来实现理性规则、可解释性和互操作性，以匹配这些系统带来的风险。我们认为，这些选择的标准可以从反垄断法，侵权法和行政法的新兴子领域。法院、联邦和州机构以及非政府组织将有可能在RL规范和评估中发挥更积极的作用。在Mitchell等人和Gebru等人提出的“模型卡”和“说明书”框架的基础上，我们认为人工智能系统需要奖励报告。奖励报告是用于划分设计选择的建议RL部署的动态文档。
2022-02-11 cs.CY cs.LG
Fast Adaptation via Policy-Dynamics Value Functions
New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）
标准RL算法假设固定的环境动态，并需要大量的交互来适应新环境。我们引入了策略动态价值函数（PD-VF），这是一种新的方法，用于快速适应与以前在训练中看到的动态不同的动态。PD-VF明确估计了政策和环境空间中的累积回报。传统RL策略的集合用于收集训练环境的经验，从中可以学习策略和环境的嵌入。然后，训练以两个嵌入为条件的价值函数。在测试时，几个动作就足以推断环境嵌入，从而通过最大化学习到的价值函数（不需要额外的环境交互）来选择策略。我们表明，我们的方法可以快速适应一组MuJoCo域上的新动态。代码可在https://github.com/rraileanu/policy-dynamics-value-functions获得。
2020-07-06 cs.AI cs.LG
Empirical observation of negligible fairness-accuracy trade-offs in machine learning for public policy
Carnegie Mellon University（卡内基梅隆大学）
在政策和社会影响环境中越来越多地使用机器学习，引起了人们对公平影响的担忧，特别是对少数民族。这些问题引起了机器学习和人工智能研究人员的极大兴趣，他们开发了新的方法并建立了提高公平性的理论界限，重点关注源数据，正则化和模型训练，或对模型分数的事后调整。然而，很少有工作研究在现实世界中的公平性和准确性之间的实际权衡，以了解这些界限和方法如何转化为政策选择和对社会的影响。我们的实证研究填补了这一空白，通过调查减少差异对准确性的影响，重点是使用机器学习的共同背景，以告知教育，心理健康，刑事司法和住房安全等资源受限项目的利益分配。在这里，我们描述的应用工作中，我们发现公平性和准确性的权衡是可以忽略不计的实践。在研究的每一个设置中，明确地关注实现公平，并使用我们提出的事后差异缓解方法，公平性得到了大幅提高，而不牺牲准确性。这一观察结果在所研究的政策背景、可用于干预的资源规模、时间和受保护群体的相对规模方面都是稳健的。这些实证结果挑战了一个普遍持有的假设，即减少差异要么需要接受一个明显的下降，准确性或开发新的，复杂的方法，使减少这些应用程序中的差异更实际。
2021-09-03 cs.CY cs.LG
Unified Policy Value Decomposition for Rapid Adaptation
Computational Neuroscience Unit, Istituto Superiore di Sanità（国家卫生研究院计算神经科学单位）；School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）
本文提出一种统一的策略价值分解框架，通过共享低维系数向量实现快速任务适应。该方法结合了结构化价值基础和兼容策略基础，利用乘法门控机制在无需重新训练的情况下适应新任务。
2026-03-18 cs.LG q-bio.NC
India nudges to contain COVID-19 pandemic: a reactive public policy analysis using machine-learning based topic modelling
University of Cambridge（剑桥大学）
该研究基于 PIB 文本语料库，用 LDA 主题建模和助推理论分析印度 COVID-19 反应性政策，揭示各部门关键政策启发及其对放松封锁规划的价值。
2020-10-03 cs.CL cs.CY cs.LG
Personalized Public Policy Analysis in Social Sciences using Causal-Graphical Normalizing Flows
Chalmers University of Technology（查尔姆斯理工大学）
结构方程/因果模型（SEM/SCM）被广泛应用于流行病学和社会科学中，以识别和分析平均因果效应（ACE）和条件ACE（CACE）。传统的因果效应估计方法，如逆概率加权（IPW）和最近的回归与残差（RWR）被广泛使用-因为它们避免了识别SCM参数的挑战性任务-估计ACE和CACE。然而，在传统的估计方法可以用于反事实推理之前，还有很多工作要做，并且有利于社会科学中的个性化公共政策分析（P $^3$ A）。当医生依靠个性化医疗在实验室环境（相对封闭系统）中为患者量身定制治疗时，P $^3$ A从这种定制中汲取灵感，但将其适用于开放的社会系统。在本文中，我们开发了一种反事实推理方法，我们将其命名为因果图形规范化流（c-GNF），以促进P $^3$ A。首先，我们展示了c-GNF如何在不对函数形式做任何假设的情况下捕获底层SCM。其次，我们提出了一种新的去量化技巧来处理离散变量，这是一般规范化流的限制。第三，我们在实验中证明，c-GNF在估计ATE的偏差和方差方面与IPW和RWR表现相当，当真实的函数形式是已知的，并且当它们是未知的时更好。第四，也是最重要的一点，我们用c-GNF进行反事实推理，展示了有前途的实证表现。由于IPW和RWR，像其他传统方法一样，缺乏反事实推理的能力，c-GNF可能会在定制个性化治疗，促进P $^3$ A，优化社会干预方面发挥重要作用-与现有方法的“一刀切”方法…
2022-04-30 cs.AI cs.LG stat.ML
Facial Recognition: A cross-national Survey on Public Acceptance, Privacy, and Discrimination
University of St.Gallen（圣加仑大学）；Freie Universität Berlin（柏林自由大学）
随着机器学习（ML）的快速发展，越来越多的这种技术被部署到现实世界中，与我们和我们的环境进行交互。ML应用最广泛的应用之一是面部识别，因为它在数百万台设备上运行。虽然对一些人有用，但其他人认为，当公共当局使用时，它是一种威胁。这种差异和缺乏政策增加了ML社区对面部识别研究和开发未来方向的不确定性。在本文中，我们介绍了一项关于公众接受度，隐私和公众使用面部识别技术（FRT）的歧视的跨国调查结果。本研究提供了中国、德国、英国和美国对首次登记税的看法，可作为政策制定者和法律监管者的参考。
2020-07-15 cs.CV cs.CY cs.LG
Leveraging Large Language Models for Enhancing Public Transit Services
University of Toronto（多伦多大学）
本文提出将大语言模型整合到公共交通系统的通用框架，并开发Tweet Writer、Trip Advisor和Policy Navigator三个应用，以提升客户体验和工作人员效率。
2024-10-18 cs.AI cs.CY cs.LG
A Decision-Language Model (DLM) for Dynamic Restless Multi-Armed Bandit Tasks in Public Health
MIT（麻省理工学院）；Harvard University（哈佛大学）；GE Healthcare（通用电气医疗）；Google（谷歌）
本文提出用于RMAB的Decision Language Model (DLM)，利用LLM作为自动化规划器解释人类语言指令并迭代生成奖励函数，从而在公共卫生场景中动态微调资源分配策略，并与ARMMAN合作通过Gemini Pro模型仿真验证了其有效性。
2024-10-25 cs.AI cs.LG cs.MA
Machine Learning-Powered Mitigation Policy Optimization in Epidemiological Models
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
管理公共卫生危机的一个关键方面是有效平衡预防和缓解战略，同时考虑到其社会经济影响。特别是，确定不同的非药物干预措施（NPI）对有效利用公共资源的影响是一个重要的问题，因为疫苗何时可以提供的不确定性。在本文中，我们提出了一种新的方法来获得最优的政策建议的流行病学模型的基础上，它可以描述疾病的进展，在不同的干预措施，并前瞻性的奖励优化策略，以选择合适的NPI在不同阶段的流行病。考虑到任何流行病学模型中固有的时间延迟和指数性质，特别是一个未管理的流行病，我们发现，这样的前瞻性策略推断出非平凡的政策，坚持以及指定的约束。使用两种不同的流行病学模型，即SEIR和EpiCast，我们评估所提出的算法，以确定最佳的NPI政策，在限制每天的新病例的数量和主要奖励是没有限制。
2020-10-16 cs.CY cs.LG
