Treatment Effect Estimation for Optimal Decision-Making
LMU MunichMunich Center for Machine Learning (MCML)（慕尼黑大学慕尼黑机器学习中心）；University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）
本文首次从理论上揭示两阶段CATE估计器在决策中的次优性，并提出重定向学习目标与神经方法，平衡估计误差与决策性能，实现最优决策。
2025-05-22 cs.LG
Habitizing Diffusion Planning for Efficient and Effective Decision Making
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
针对扩散规划推理速度慢的问题，提出Habi框架将其转化为快速决策模型，模仿大脑习惯化认知过程，在D4RL基准上CPU实现800+Hz决策频率且性能相当或更高，为扩散模型现实决策应用提供新视角。
2025-02-10 cs.LG
Paradoxes in Fair Computer-Aided Decision Making
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
计算机辅助决策--人类决策者在做出决策时得到计算分类器的帮助--正变得越来越普遍。例如，至少有九个州的法官在判决、假释或保释决定中使用算法工具来确定刑事被告的“累犯风险评分”。最近争论的一个主题是，这种算法工具是否“公平”，因为它们不歧视某些群体（例如，种族）的人。我们的主要结果表明，对于“非平凡”的计算机辅助决策，要么分类器必须是歧视性的，或者一个理性的决策者使用的分类器的输出是被迫歧视。我们进一步提供了一个完整的表征的情况下，公平的计算机辅助决策是可能的。
2018-01-31 cs.CY cs.LG
Smooth Calibration and Decision Making
Northwestern University（西北大学）；Shanghai Jiaotong University（上海交通大学）
本文证明对具有ε到校准距离的在线预测器进行后处理，可实现渐近最优的O(√ε)期望校准误差和校准决策损失，方法是通过添加噪声实现差分隐私。
2025-04-22 cs.DS cs.LG stat.ML
Inverse Active Sensing: Modeling and Understanding Timely Decision-Making
University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）
基于证据的决策需要收集（昂贵的）关于感兴趣的潜在现象的观察结果，然后根据积累的证据做出（知情的）决定。在这种情况下，主动感知是目标导向的问题，有效地选择哪些收购，以及何时和什么决定解决。作为其补充，反向主动感知试图揭示代理的偏好和策略，给出他们的可观察的决策行为。在本文中，我们开发了一个表达，统一的框架，一般设置的证据为基础的决策下内生的，上下文相关的时间压力-这需要谈判（主观）之间的权衡准确性，快速性和成本的信息。使用这种语言，我们演示了它如何使建模直观的概念，惊喜，悬念和最优决策策略（前向问题）。最后，我们说明了如何通过量化所观察到的决策策略（逆问题）中隐含的偏好来理解决策行为。
2020-06-25 cs.LG stat.ML
Social-Inverse: Inverse Decision-making of Social Contagion Management with Task Migrations
University of Delaware（特拉华大学）
考虑两个决策任务$A$和$B$，每个都希望为给定的\textit{query} $X$计算有效的\textit{decision} $Y$，{我们可以通过使用$A$的查询-决策对$(X, Y)$来解决任务$B$而不知道潜在的决策模型吗？}这种问题，称为\textit{inverse decision-making with task migrations}，感兴趣的是，现实世界中的应用程序的复杂性和随机性往往会阻止代理完全知道底层系统。在本文中，我们介绍了这样一个新的问题与正式的配方，并提出了一个通用的框架，以解决决策任务的社会传染管理。在理论方面，我们提出了一个泛化分析证明我们的框架的学习性能。在实证研究中，我们进行了合理性检查，并与其他可能的基于学习和基于图的方法比较所提出的方法。我们已经获得了令人鼓舞的实验结果，首次证实了通过使用与另一个相关联的解决方案来解决一个决策任务是可能的。
2022-09-21 cs.LG cs.SI
A Review of Causal Decision Making
Amazon（亚马逊）；University of California, Irvine（加州大学尔湾分校）；North Carolina State University（北卡罗来纳州立大学）
本文综述从因果视角探讨决策制定的三大核心问题：因果结构学习、因果效应学习和因果策略学习，并讨论挑战与未来研究方向。
2025-02-22 cs.LG stat.ML
Variational Bayesian Decision-making for Continuous Utilities
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯决策理论概述了一个严格的框架，使最佳决策的基础上最大限度地提高预期效用的模型后验。然而，从业者往往没有获得完整的后验和诉诸近似推理策略。在这种情况下，在执行推理时考虑最终的决策任务允许校准后验近似以最大化效用。我们提出了一个自动流水线，co-opts连续效用到变分推断算法，占决策。我们提供了实用的策略，近似和最大化的增益，并根据经验证明一致的改进时，校准近似特定的实用程序。
2019-10-27 cs.LG stat.ML
Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems
Vector Institute（向量研究所）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Brain（谷歌大脑）；UT Austin（德克萨斯大学奥斯汀分校）
基于机器学习的决策系统越来越多地影响人类。在这种决策系统下，个人可能会遭受不希望的结果（例如拒绝信贷），而不管决策是否公平或准确。个人追索权涉及提供一套可操作的改变，一个人可以采取，以改善其结果的问题。我们提出了一个追索算法，模型的基础数据分布或流形。然后，我们提供了一种机制，以产生最小的变化集，这将改善个人的结果。这种机制可以很容易地用于为任何基于可微机器学习的决策系统提供资源。此外，所得到的算法被证明是适用于监督分类和因果决策系统。我们的工作试图填补现有的公平性文献，主要集中在发现和/或算法上执行决策系统的公平性约束的空白。这项工作也提供了一种替代方法来产生反事实的解释。
2019-07-22 cs.LG stat.ML
Does the Markov Decision Process Fit the Data: Testing for the Markov Property in Sequential Decision Making
London School of Economics and Political Science（伦敦政治经济学院）；North Carolina State University（北卡罗来纳州立大学）；Amazon（亚马逊公司（Amazon））
马尔可夫假设（MA）是强化学习经验有效性的基础。在本文中，我们提出了一种新的前向-后向学习过程来测试MA在顺序决策中的作用。该检验方法不需要假设观测数据的联合分布具有任何参数形式，对于高阶马尔可夫决策过程和部分可观测MDP中的最优策略识别具有重要作用.我们将我们的测试应用于合成数据集和移动健康研究的真实数据示例，以说明其实用性。
2020-02-05 cs.LG stat.ML
Algorithms for Fairness in Sequential Decision Making
University of Pennsylvania（宾夕法尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的研究表明，如果忽视决策的反馈效应，那么强加公平约束，如人口均等或机会均等，实际上会加剧不公平。我们建议通过将反馈效应建模为马尔可夫决策过程（MDP）来解决这一挑战。首先，我们提出类似的公平性的MDP设置。其次，我们提出了学习公平的决策政策MDP的算法。最后，我们证明了需要考虑到使用模拟贷款申请人MDP的动态效果。
2021-10-11 cs.LG stat.ML
Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；Stanford University（斯坦福大学）；Fundamental Technologies（基础技术公司）；Haute Autorité de Santé（法国国家卫生管理局）
该研究量化了批量二元决策中使用近似后验概率的超额风险，给出校准误差遗憾值的解析式与校准分类器遗憾值的上下界，可识别校准的作用场景，且相关量可实际估算，实验验证其能判断后训练收益，还指出多重校准的替代潜力。
2025-03-23 cs.AI cs.LG stat.ML
DeLLMa: Decision Making Under Uncertainty with Large Language Models
University of Southern California（南加州大学）
本文提出DeLLMa框架，通过整合推理时计算扩展、决策理论与效用理论的多步推理过程，提升大型语言模型在不确定性环境下的决策准确性，实现高达40%的准确率提升。
2024-10-11 cs.AI cs.CL cs.LG
Developing moral AI to support antimicrobial decision making
Imperial College London（伦敦帝国理工学院）；National Institute for Health Research（国家健康研究所）
人工智能（AI）协助抗生素处方引发了重大的道德问题。利用道德框架和人工智能驱动的系统，同时考虑感染的具体复杂性，可以支持道德决策，以解决抗生素耐药性问题。
2022-08-12 cs.AI cs.CY cs.LG
Fairness and Sequential Decision Making: Limits, Lessons, and Opportunities
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
随着自动决策和决策辅助系统在日常生活中变得越来越普遍，关于预防或减轻这些系统所做决策产生的潜在危害的研究也越来越多。然而，不同的研究团体已经独立地对这些危害进行了概念化，设想了潜在的应用，并提出了干预措施。其结果是一个有点破碎的文学景观一般集中在确保决策算法“做正确的事情”。在本文中，我们比较和讨论的工作在两个主要子集的文献：算法公平性，主要集中在预测系统，道德决策，主要集中在顺序决策和规划。我们探讨这些设置如何表达其规范性的问题，这些不同的设置不同的技术的可行性，以及如何从每个设置的想法可能有其他的效用。
2023-01-13 cs.AI cs.CY cs.LG
The Simulacrum: Decision-Theoretic Pretraining for Near-Optimal Time-Series Forecasting and Inference
Google（谷歌）
提出一种通过决策理论预训练学习时间序列估计器的神经网络框架，通过指定生成世界和决策目标，训练网络逼近最优决策规则，在零样本推断中实现近乎最优风险、偏差控制和均匀校准。
2026-06-29 cs.AI cs.LG stat.CO
Building Decision Making Models Through Language Model Regime
Alibaba Group（阿里巴巴集团）
本文提出LTU两阶段方法，通过跨领域预训练构建基础决策模型并面向场景微调，利用LLM增强单步与多步决策的泛化能力。
2024-08-12 cs.AI cs.CL cs.LG
On The Statistical Complexity of Offline Decision-Making
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究针对带函数逼近的离线决策，建立了随机上下文赌博机与马尔可夫决策过程的（近）极小极大最优速率，提出严格涵盖既往数据覆盖概念的行为策略新刻画，并验证了离线数据在多类在线决策场景中的近最优效益。
2025-01-10 cs.AI cs.LG stat.ML
Modeling and Interpreting Real-world Human Risk Decision Making with Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）；Huntington Medical Research Institutes（亨廷顿医学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
为了更好地理解人类在风险环境下的决策行为，我们采用逆向强化学习（IRL）对人类在风险环境下的决策行为进行建模。据我们所知，这是第一个应用IRL揭示人类风险决策中的隐性奖励函数，并解释风险倾向和风险厌恶决策政策的工作。我们假设状态历史（例如，以前试验中的奖励和决策）与人类奖励功能有关，这导致了风险规避和风险倾向的决策。我们设计的功能，反映这些因素的奖励功能的IRL和学习相应的权重，这是解释为功能的重要性。研究结果证实了个性化奖励函数下人类驱动的风险相关决策的次优性。特别是，风险偏好者倾向于根据当前的泵数量做出决定，而风险厌恶者则依赖于之前试验的突发信息和平均最终状态。我们的研究结果表明，IRL是一个有效的工具来模拟人类的决策行为，以及帮助解释人类的心理过程中的风险决策。
2019-06-13 cs.LG q-bio.NC stat.ML
Personalized next-best action recommendation with multi-party interaction learning for automated decision-making
University of Technology Sydney（悉尼科技大学）
在自然、社会和商业决策中，人们广泛需要在连续、动态和交互的环境中为每个客户自动推荐下一个最佳行动。个性化的次佳行动建议必须涉及过去，当前和未来的客户人口统计数据和环境（状态）和行为，客户和决策者之间的长期顺序交互，状态，行为和行动之间的多序列交互，以及他们对对方行动的反应。没有现有的建模理论和工具，包括马尔可夫决策过程，用户和行为建模，深度顺序建模，个性化顺序推荐，可以量化这样的复杂的决策在个人层面上。我们采取数据驱动的方法来学习下一个最好的行动，个性化的决策，通过加强耦合递归神经网络（CRN）。CRN表示客户的历史和当前状态的多个耦合动态序列，对决策者行为的响应，对行为的决策奖励，并学习各方（客户和决策者）之间的长期多序列交互。然后在某个时间点对每个客户推荐下一个最佳行动，以改变他们的状态，实现最佳决策目标。我们的研究展示了多序列交互的个性化深度学习和复杂系统中个性化决策的自动动态干预的潜力。
2021-08-19 cs.AI cs.LG cs.NE
Targeted Active Learning for Bayesian Decision-Making
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在监督学习中，主动学习通常用于获取信息数据点的标签，以样本有效的方式最大限度地提高准确性。然而，当结果用于决策时，例如在个性化医疗或经济学中，最大限度地提高准确性并不是最终目标。我们认为，当连续获取样本时，分离学习和决策是次优的，我们引入了一个主动学习策略，该策略考虑到了线下决策问题。具体来说，我们引入了一种新的主动学习标准，最大限度地提高预期的信息增益的后验分布的最优决策。我们将我们的目标主动学习策略与模拟和真实数据上的现有替代方案进行了比较，并在决策准确性方面表现出更好的性能。
2021-10-20 cs.AI cs.LG stat.ML
Parallel photonic accelerator for decision making using optical spatiotemporal chaos
Saitama University（埼玉大学）；The University of Tokyo（东京大学）
光子加速器在人工智能领域的应用越来越受到人们的关注。多臂强盗问题是利用强化学习进行决策的基本问题。然而，由于物理实现的技术困难，光子决策的可扩展性尚未在实验中得到证明。提出了一种利用光时空混沌求解大规模多臂强盗问题的并行光子决策系统。我们在线解决了一个512臂的强盗问题，这个问题比以前的实验大了两个数量级。正确的决策的缩放属性检查作为老虎机的数量的函数，评估为0.86的指数。该指数小于以前的工作，表明所提出的并行原则的优越性。这个实验演示有助于光子决策，以解决未来光子加速器的大规模多臂强盗问题。
2022-10-12 cs.ET cs.LG physics.optics
FairSight: Visual Analytics for Fairness in Decision Making
University of Pittsburgh（匹兹堡大学）
与个人相关的数据驱动决策变得越来越普遍，但最近的研究提出了有关潜在歧视的问题。作为回应，研究人员已经努力提出并实施公平性措施和算法，但这些努力尚未转化为数据驱动决策的现实实践。因此，仍然迫切需要创建一个可行的工具，以促进公平决策。我们提出了FairSight，一个视觉分析系统，以满足这一需求，它的目的是通过确定所需的行动-理解，测量，诊断和减轻偏见-共同导致更公平的决策，以实现不同的公平性概念的排名决定。通过案例研究和用户研究，我们证明了系统中的视觉分析和诊断模块是有效的理解公平意识的决策管道，并获得更公平的结果。
2019-12-02 cs.CY cs.HC cs.LG
Event-Centric World Modeling with Memory-Augmented Retrieval for Embodied Decision-Making
Zhaowen Fan（Fan 研究院）；Rongchao Zhang（Zhang 实验室）
本文提出一种事件中心世界建模框架，通过记忆增强检索实现具身决策，结合语义事件和先前经验进行决策，提升动态环境的结构抽象与可解释性。
2026-07-09 cs.IR cs.LG cs.RO
Parameter estimation in softmax decision-making models with linear objective functions
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
着眼于以人为中心的自动化，我们有助于开发一种系统的手段，从行为数据中推断人类决策的特征。基于softmax选择在人类决策模型中的广泛应用，研究了线性目标函数softmax决策模型的极大似然参数估计问题.我们目前的条件下，似然函数是凸的。这些使我们能够提供充分条件收敛的最大似然估计，并构建其渐近分布。在具有非线性目标函数的模型的情况下，我们展示了如何通过对标称参数值进行线性化来应用估计量。我们应用估计器来拟合人类决策的随机UCL（可信上限）模型。我们在相关但不同的任务中表现出统计学上的显著差异。
2015-08-29 cs.LG math.OC stat.ML
Who Should I Trust: AI or Myself? Leveraging Human and AI Correctness Likelihood to Promote Appropriate Trust in AI-Assisted Decision-Making
The Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）；Purdue University（普渡大学）
在人工智能辅助决策中，人类决策者必须知道何时信任人工智能，何时信任自己。然而，之前的研究仅基于AI的正确性可能性（CL）的AI信心来校准人类信任，但忽略了人类的CL，阻碍了最佳团队决策。为了缩小这一差距，我们提出了在任务实例级别上基于双方的CL来促进人类的适当信任。我们首先通过近似他们的决策模型和计算他们在类似情况下的潜在表现来模拟人类的CL。我们通过两个初步研究证明了我们的模型的可行性和有效性。然后，我们提出了三个CL开发策略，以校准用户的信任显式/隐式在人工智能辅助决策过程。受试者间实验（N=293）的结果表明，与仅使用AI信心相比，我们的CL开发策略促进了更适当的人类对AI的信任。我们进一步为更具人性化的人工智能辅助决策提供了实际影响。
2023-01-14 cs.AI cs.HC cs.LG
Decision Making in Changing Environments: Robustness, Query-Based Learning, and Differential Privacy
研究时变环境下的交互式决策问题，提出hybrid DMSO框架以统一分析LDP决策、SQ学习及鲁棒决策，并基于DEC变体推导界，揭示其与SQ维度等概念的关联，应用于上下文赌博机。
2025-01-24 cs.AI cs.IT cs.LG
