Evolution of Information in Interactive Decision Making: A Case Study for Multi-Armed Bandits
New York University(纽约大学)
本研究以随机多臂老虎机为对象,探究交互决策中信息的演化规律,揭示互信息的三阶段增长特征及最优成功概率与信息增益的解耦关系,为理解交互决策中信息与学习的作用机制提供新见解。
2025-10-22 cs.IT cs.LG math.IT
Interactive Example-based Explanations to Improve Health Professionals' Onboarding with AI for Human-AI Collaborative Decision Making
Singapore Management University(新加坡管理大学);Singapore General Hospital(新加坡综合医院)
提出交互式基于示例的解释方法,通过呈现最近邻样本协助健康专业人员入门AI,实验证明该方法能优化人员对AI的依赖并提高正确决策比例,降低错误决策比例。
2024-09-24 cs.AI cs.HC cs.LG
Instantiating Bayesian CVaR lower bounds in Interactive Decision Making Problems
Department of Information Science;Engineering (ISE) KTH Royal Institute of Technology
本文通过具体交互问题实例化通用Fano框架,推导出显式的贝叶斯CVaR下界,利用Hellinger距离和参考hinge项下界结合,应用于高斯带教等经典问题,揭示关键参数依赖性。
2026-04-14 cs.IT cs.LG math.IT
Multi$^2$: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments
KAIST(韩国科学技术院)
提出Multi$^2$分层多智能体决策框架,通过高层智能体(System 1)使用监督微调生成子目标,低层智能体(System 2)使用离线到在线强化学习执行原子动作,以缓解目标漂移并实现长期稳定控制。
2026-07-22 cs.LG
The Statistical Complexity of Interactive Decision Making
Microsoft(微软)
本文提出决策-估计系数作为交互式决策样本高效学习的必要且充分复杂度度量,并给出统一算法设计原则 E2D,实现与下界匹配的最优遗憾,统一了贝叶斯与频率学派方法。
2023-07-11 cs.LG math.OC math.ST
Asymptotic Instance-Optimal Algorithms for Interactive Decision Making
Stanford University(斯坦福大学)
该研究针对通用有限决策交互式决策问题,提出首个基于主动假设检验的渐近实例最优算法,其渐近遗憾匹配实例精确复杂度,复现了经典老虎机问题结果并改进了强化学习的实例依赖上界。
2023-06-12 cs.LG
Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop
Department of Computer Science, University of Central Florida(中佛罗里达大学计算机科学系);Business Intelligence Lab, Baidu Research(百度研究院商业智能实验室);Eller College of Management, University of Arizona(亚利桑那大学埃勒管理学院);Rutgers University(罗格斯大学)
研究了自动特征选择中有效性和效率的平衡问题。在探索了许多特征选择方法之后,我们发现了一个计算困境:1)传统的特征选择大多数是有效的,但难以识别最佳子集; 2)新兴的增强特征选择自动导航到最佳子集,但通常效率低下。我们能否在自动化下弥合有效性和效率之间的差距?出于这种困境,我们的目标是开发一种新的特征空间导航方法。在我们的初步工作中,我们利用交互式强化学习通过外部训练器-代理交互来加速特征选择。在这个期刊版本中,我们提出了一种新的交互式和闭环架构,以同时建模交互式强化学习(IRL)和决策树反馈(DTF)。具体来说,IRL是创建一个交互式特征选择循环,DTF是将结构化特征知识反馈给循环。首先,利用决策树的树结构特征层次来改进状态表示。特别是,我们表示所选择的特征子集作为一个无向图的特征-特征的相关性和有向树的决策功能。我们提出了一种新的嵌入方法,能够授权图卷积网络,以共同学习状态表示的图和树。其次,利用树结构的特征层次来开发一种新的奖励方案。特别是,我们个性化的奖励分配代理的基础上决策树功能的重要性。此外,观察Agent的行为可以得到反馈,我们设计了另一种奖励方案,根据历史行为记录中的特征选择频率比来加权和分配奖励。最后,我们在现实世界的数据集上进行了广泛的实验,以显示改进的性能。
2020-10-02 cs.LG stat.ML
Language Decision Transformers with Exponential Tilt for Interactive Text Environments
ServiceNow Research(ServiceNow研究院);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));Polytechnique Montreal(蒙特利尔理工学院)
提出 Language Decision Transformers (LDTs) 框架,通过引入指数倾斜、新颖目标条件化和未来观测模型扩展决策 Transformers,在 Jericho 等挑战性文本游戏中实现最高分并首次解决离线 RL 问题。
2023-11-17 cs.AI cs.CL cs.LG
Foundations of Reinforcement Learning and Interactive Decision Making
MIT(麻省理工学院)
本专著从统计视角统一阐述交互式决策,提出估计到决策原则与决策估计系数,将监督学习转化为决策算法,并分析问题复杂度,覆盖从多臂老虎机到强化学习的完整框架。
2026-09-28 cs.LG math.OC math.ST
TimberTrek: Exploring and Curating Sparse Decision Trees with Interactive Visualization
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
鉴于成千上万个同样准确的机器学习(ML)模型,用户如何在其中进行选择?最近的ML技术使领域专家和数据科学家能够为稀疏决策树生成一个完整的罗生门集-一个几乎最优的可解释ML模型的巨大集合。为了帮助ML从业者从这个罗生门集合中识别具有理想属性的模型,我们开发了TimberTrek,这是第一个交互式可视化系统,它可以大规模总结数千棵稀疏决策树。两个使用场景强调了TimberTrek如何使用户能够轻松地探索、比较和策划与其领域知识和价值观相一致的模型。我们的开源工具直接在用户的计算笔记本和Web浏览器中运行,降低了创建更负责任的ML模型的障碍。TimberTrek可在以下公开演示链接中获得:https://poloclub.github.io/timbertrek。
2022-09-19 cs.AI cs.HC cs.LG
Safe Exploration for Interactive Machine Learning
ETH Zurich(苏黎世联邦理工学院)
在交互式机器学习(IML)中,我们迭代地做出决策并获得未知函数的噪声观测。虽然IML方法,例如,贝叶斯优化和主动学习在实际应用中取得了成功,但在实际系统中,它们必须能够避免不安全决策。为此,安全的IML算法必须仔细学习先验未知的约束,而不做出不安全的决策。现有的算法对这个问题的学习所有决策的安全性,以确保收敛。这是样本效率低下的,因为它探索了与原始IML目标无关的决策。在本文中,我们介绍了一个新颖的框架,可以使任何现有的不安全IML算法变得安全。我们的方法可以作为一个附加组件,将建议的决策作为输入,并利用高斯过程的规律性假设,以便有效地了解它们的安全性。因此,我们只在IML问题需要时才探索安全集。我们将我们的框架应用于安全贝叶斯优化和安全探索确定性马尔可夫决策过程(MDP),之前已经分别进行了分析。我们的方法优于其他算法经验。
2019-10-30 cs.AI cs.LG cs.RO
Tight Guarantees for Interactive Decision Making with the Decision-Estimation Coefficient
Microsoft(微软)
强化学习和交互式决策的一个基本问题是理解什么样的建模假设可以保证样本有效学习,以及什么样的算法设计原则可以实现最佳样本复杂度。最近,Foster et al.(2021)引入了决策估计系数(Decision-Estimation Coefficient,DEC),这是一种统计复杂性的度量,它可以为包含强盗和具有函数逼近的强化学习的一般类问题的最佳样本复杂性提供上限和下限。在本文中,我们引入了一个新的变种的DEC,约束决策估计系数,并使用它来获得新的下界,提高了以前的工作在三个方面:-他们持有的期望,没有限制类的算法正在考虑。- 它们在全球范围内成立,并且不依赖于Foster等人(2021)使用的本地化概念。- 最有趣的是,他们允许DEC定义的参考模型是不适当的,建立不适当的参考模型起着根本性的作用。我们提供了具有相同数量的后悔的上限,从而关闭了Foster et al.(2021)中上限和下限之间的所有差距。我们的研究结果适用于遗憾框架和PAC框架,并利用几个新的分析和算法设计技术,我们预计将找到更广泛的用途。
2023-01-19 cs.LG math.OC math.ST
Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making
University of Chicago(芝加哥大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
尽管人工智能有望改善人类在社会关键领域的决策,但人类-人工智能团队如何在具有挑战性的预测任务(也称为互补性能)中可靠地超越人工智能和人类仍然是一个悬而未决的问题。我们探索两个方向,以了解在实现互补性能的差距。首先,我们认为典型的实验设置限制了人类-AI团队的潜力。为了解释由于分布偏移而导致的分布外AI性能低于分布内AI性能,我们设计了具有不同分布类型的实验,并研究了分布内和分布外示例的人类性能。其次,我们开发了新的界面来支持交互式解释,以便人类可以积极参与人工智能的帮助。使用虚拟试点研究和三个任务的大规模随机实验,我们证明了分布内和分布外之间的明显差异,并观察到交互式解释的混合结果:虽然交互式解释提高了人类对人工智能辅助有用性的感知,但它们可能会加强人类的偏见并导致有限的性能改善。总的来说,我们的工作指出了在人工智能辅助下提高人类绩效的关键挑战和未来方向。
2021-10-05 cs.AI cs.CY cs.HC
Digital Human Interactive Recommendation Decision-Making Based on Reinforcement Learning
AntGroup(蚂蚁集团);Damo Academy, Alibaba Group(阿里巴巴集团达摩院)
数字人推荐系统是为了帮助客户找到他们喜欢的产品而开发的,并在各种推荐环境中发挥着积极的作用。如何及时捕捉和学习客户的偏好动态,同时满足他们的确切要求,成为数字人类推荐领域的关键。为了充分利用数字人的特点和强化学习的灵活性,提高交互式推荐决策的效率,设计了一种基于强化学习(RL)的数字人交互式推荐代理框架。我们提出的框架通过最先进的RL算法,结合多模态嵌入和图嵌入,动态地通过数字人和客户之间的实时交互进行学习,以提高个性化的准确性,从而使数字人代理能够及时吸引客户的注意力。对真实业务数据的实验表明,我们的框架可以提供更好的个性化客户参与和更好的客户体验。
2022-11-04 cs.AI cs.IR cs.LG
VLM Q-Learning: Aligning Vision-Language Models for Interactive Decision-Making
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce AI Research(Salesforce人工智能研究)
本文提出VLM Q-Learning方法,从离线到在线强化学习视角微调视觉-语言模型,使其在保留SFT稳定性的同时能从失败决策和低质量数据中自我改进,并在三个多模态智能体领域验证了有效性。
2025-05-06 cs.LG
Minimax Quantile Lower Bounds for Interactive Statistical Decision Making with Privacy
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对期望准则忽略罕见但严重后果的问题,提出δ-显式最小最大分位数理论,导出高概率交互式Fano和Le Cam方法,并应用于带隐私约束的高斯均值估计和K臂高斯老虎机,得到显式下界。
2026-06-23 cs.IT cs.LG math.IT
Augmenting Decision Making via Interactive What-If Analysis
Sigma Computing(西格玛计算);University of Maryland(马里兰大学);University of Amsterdam(阿姆斯特丹大学);University of Massachusetts(马萨诸塞大学)
业务数据分析的基本目标是使用数据改进业务决策。业务用户通常会做出决策以实现关键绩效指标(KPI),例如增加客户保留率或销售额,或降低成本。为了发现假设为驱动因素的数据属性与对应于感兴趣的KPI的数据属性之间的关系,业务用户目前需要执行冗长的探索性分析。这涉及考虑多种组合和场景,并相应地对数据执行切片、切割和变换,例如,分析一年中各季度的客户保留率,或建议跨客户阶层的最佳媒体渠道。然而,数据集日益复杂,加上人类的认知局限性,使得即使是简单的数据集,也很难进行多个假设。因此,在心理上进行这样的分析是很困难的。现有的商业工具要么提供部分解决方案,要么无法完全满足商业用户的需求。在这里,我们认为四个功能,使业务用户交互式学习和推理的数据属性集之间的关系,从而促进数据驱动的决策。我们在SystemD中实现了这些功能,SystemD是一个交互式可视化数据分析系统,使业务用户能够通过提出假设问题来实验数据。我们通过三个业务用例来评估该系统:营销组合建模、客户保留分析和交易完成分析,并报告来自多个业务用户的反馈。用户发现SystemD的功能非常有用,可以围绕他们感兴趣的KPI快速测试和验证他们的假设,解决他们未满足的分析需求。反馈还表明,可以增强用户体验设计,以进一步提高这些功能的可理解性。
2022-02-09 cs.DB cs.HC cs.LG
Enumeration of Distinct Support Vectors for Interactive Decision Making
Hokkaido University(北海道大学);Osaka University(大阪大学);NTT Communication Science Laboratories(NTT通信科学实验室)
在常规预测任务中,机器学习算法输出全局优化其目标函数的单个最佳模型,该目标函数通常是准确性。因此,用户无法显式访问其他模型。与此相反,多模型枚举在非标准机器学习应用中吸引了越来越多的兴趣,其中其他标准,例如,可解释性或公平性比准确性更重要,且用户可能想要访问多于一个非最佳但合适模型。本文提出了一种支持向量机(SVM)的K-best模型枚举算法,给定数据集S和整数K>0,在对偶SVM问题中,按目标函数值降序枚举S上具有不同支持向量的K-best模型。基于对支持向量的格型结构的分析,我们的算法有效地找到了下一个最好的模型,具有较小的延迟。这在支持用户交互式检查他们对枚举模型的需求时很有用。通过在真实数据集上的实验,我们评估了我们的算法的效率和实用性。
2019-06-05 cs.LG stat.ML
Assouad, Fano, and Le Cam with Interaction: A Unifying Lower Bound Framework and Characterization for Bandit Learnability
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);New York University(纽约大学);National University of Singapore(新加坡国立大学)
该研究提出交互Fano方法与分数覆盖数,统一了统计估计与交互决策的下界框架,刻画了随机赌博机可学习性,弥合了凸模型类交互决策问题上下界的多项式因子内差距。
2024-12-06 cs.IT cs.LG math.IT
Decision Making for Autonomous Driving in Interactive Merge Scenarios via Learning-based Prediction
University of Surrey(萨里大学)
在与人类驾驶员共享的道路上行驶的自主智能体必须对交通参与者之间的微妙互动进行推理。这提出了一个高度挑战性的决策问题,因为人类行为受到多种因素的影响(例如,人类的意图和情感),很难建模。本文提出了一种自动驾驶的决策方法,专注于合并到移动交通中的复杂任务,其中不确定性来自其他驾驶员的行为和不完善的传感器测量。我们框架的问题作为一个部分可观察的马尔可夫决策过程(POMDP)和解决它的蒙特卡罗树搜索在线。POMDP的解决方案是执行高级别驾驶操作的策略,例如为接近的汽车让路,与前面的车辆保持安全距离或并入交通。我们的方法利用从数据中学习的模型来预测未来的交通状态,同时明确考虑周围代理之间的交互。根据这些预测,自动驾驶汽车可以预测其行为对环境的未来影响,并相应地优化其轨迹。我们在模拟中彻底测试了我们的方法,表明自动驾驶汽车可以根据不同情况调整其行为。我们还与其他方法进行比较,证明了所考虑的性能指标的改进。
2023-03-29 cs.AI cs.LG cs.RO
A Human-Centered Approach to Interactive Machine Learning
University of Alberta(阿尔伯塔大学)
交互式机器学习(IML)社区旨在通过开发自动决策系统来增强人类随着时间的推移进行学习和决策的能力。这种交互代表了多个智能系统--人类和机器之间的协作。缺乏对所涉及的人的适当考虑可能导致有问题的系统行为,以及公平性,问责制和透明度问题。这项工作提出了一个以人为本的思想方法,应用IML方法。本指南旨在供人工智能从业者使用,他们将人为因素纳入工作中。这些从业者负责相互作用的人类的健康,安全和福祉。对公众互动负责的义务意味着正直、诚实、公平地行事,并遵守适用的法律法规。有了这些价值观和原则,我们作为一个研究社区可以更好地实现增强人类能力的集体目标。本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2019-05-15 cs.CY cs.HC cs.LG
Interactive Machine Learning: From Theory to Scale
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本论文提出交互式机器学习的新算法和理论框架,实现高效主动学习和上下文带算法,解决大规模应用中的计算效率与模型选择问题。
2025-12-30 cs.AI cs.LG stat.ML
Scalable Interactive Machine Learning for Future Command and Control
U.S. DEVCOM Army Research Laboratory(美国DEVCOM陆军研究实验室);U.S. Mission Command Battle Lab(美国任务指挥作战实验室)
本文针对未来指挥与控制中决策时效性和复杂性问题,提出规模化交互式机器学习(SIML)框架,从人机交互算法、韧性团队构建和规模扩展三个方向推动人机协同决策。
2024-03-28 cs.AI cs.CL cs.HC
An Interactive Interpretability System for Breast Cancer Screening with Deep Learning
Vanderbilt University(范德堡大学);Carnegie Mellon University(卡内基梅隆大学)
深度学习方法,特别是卷积神经网络,已经成为医学图像计算任务中的强大工具。虽然这些复杂的模型提供了出色的性能,但它们的黑盒性质可能会阻碍高风险决策的实际应用。在本文中,我们提出了一个互动系统,利用国家的最先进的可解释性技术,以协助放射科医生与乳腺癌筛查。我们的系统将深度学习模型集成到放射科医生的工作流程中,并提供新颖的交互,以促进对模型决策过程的理解。此外,我们证明了我们的系统可以利用用户交互逐步提供更细粒度的可解释性报告,标签开销很小。由于所采用的可解释性技术的通用性,我们的系统是领域不可知的,可用于许多不同的医学图像计算任务,为我们如何利用视觉分析来转换最初的静态可解释性技术以增强人类决策并促进医学AI的采用提供了一个新的视角。
2022-09-30 cs.AI cs.CV cs.HC
Instance-Optimality in Interactive Decision Making: Toward a Non-Asymptotic Theory
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文研究交互式决策的非渐近实例最优性,提出 AEC 复杂度度量与 AE² 算法,在老虎机和表格强化学习中获得多项式依赖的实例最优遗憾界,并给出匹配下界。
2023-04-24 cs.LG stat.ML
Interactive Trajectory Planning with Learning-based Distributionally Robust Model Predictive Control and Markov Systems
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术)
本文研究了在周围智能体决策不确定性下的交互轨迹规划问题,提出结合PAC学习与分布鲁棒优化的DR-MPC框架,通过样本数量实现鲁棒MPC与随机MPC之间的插值。
2026-05-08 cs.LG cs.SY eess.SY
GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond
Northwestern University(西北大学);Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);Yale University(耶鲁大学)
本文提出广义eluder系数(GEC)来刻画强化学习中探索与利用的权衡,涵盖MDP、POMDP等场景,并设计了一种通用的后验采样算法,通过次线性遗憾上界证明了其样本高效性。
2023-06-30 cs.AI cs.LG math.OC
Language Agents for Hypothesis-driven Clinical Decision Making with Reinforcement Learning
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出了一种基于强化学习的假设驱动语言代理LA-CDM,用于提升临床诊断的准确性和效率。
2026-02-28 cs.AI cs.CL cs.LG
Probabilistic Prediction of Interactive Driving Behavior via Hierarchical Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
自动驾驶汽车(AVs)已经上路。为了安全有效地与其他道路参与者进行交互,自动驾驶汽车必须准确预测周围车辆的行为并相应地进行规划。这种预测应该是概率性的,以解决人类行为中的不确定性。这种预测也应该是互动的,因为在所有可能的轨迹的预测车辆的分布不仅取决于历史信息,但也对未来的计划,其他车辆与它互动。为了实现这种互动感知的预测,我们提出了一种概率预测方法的基础上分层逆强化学习(IRL)。首先,我们明确地考虑了人类驾驶员的分层自动生成过程,涉及离散和连续的驾驶决策。在此基础上,在所有未来轨迹的预测车辆的分布被制定为一个混合的分布划分的离散决策。然后,我们应用IRL分层学习分布从真正的人类示威。提供了一个案例研究的坡道合并驾驶方案。定量结果表明,所提出的方法可以准确地预测离散的驾驶决策,如屈服或通过以及连续的轨迹。
2018-09-09 cs.AI cs.LG cs.RO
Interactive Pareto navigation for deep multi-task learning
Department of Computer Science, TU Dortmund, Dortmund, Germany(多特蒙德工业大学计算机科学系,德国多特蒙德);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
提出偏好帕累托探索(PPE)框架,通过预测-校正方法沿帕累托流形切线方向引导偏好,利用Krylov子空间方法避免Hessian计算,实现高效交互式多目标优化。
2026-06-19 cs.LG math.OC
Play to Grade: Testing Coding Games as Classifying Markov Decision Process
Stanford University(斯坦福大学)
当代的编程教育经常给学生提出开发具有用户交互和复杂动态系统的程序的任务,例如基于鼠标的游戏。虽然在教学上很有吸引力,但目前还没有提供反馈的自主方法。值得注意的是,交互式程序不可能通过传统的单元测试来评分。在本文中,我们正式提出的挑战,提供反馈的交互式程序作为一项任务的分类马尔可夫决策过程(MDP)。每个学生的程序完全指定了一个MDP,其中代理需要在合理的泛化下操作和决定,如果输入MDP的动态和奖励模型应该被分类为正确或损坏。我们证明,通过设计代理和自回归模型之间的合作目标,我们可以使用代理从输入MDP,允许分类器来确定成员的差分轨迹采样:发挥等级。我们的方法使一个自动反馈系统的交互式代码分配。我们发布了一个包含711,274名匿名学生提交的数据集,这些学生提交了一个带有手工编码错误标签的作业,以支持未来的研究。
2021-12-14 cs.AI cs.CY cs.LG
Interactive Machine Comprehension with Information Seeking Agents
Microsoft Research(微软研究院);Nanyang Technological University(南洋理工大学);Polytechnique Montréal(蒙特利尔理工学院);Mila(米拉)
现有的机器阅读理解(MRC)模型不能有效地扩展到现实世界的应用,如网络级信息检索和问答(QA)。我们认为,这源于MRC数据集的性质:其中大多数是静态环境,其中支持文档和所有必要的信息都得到了充分的观察。在本文中,我们提出了一种简单的方法,重新构建现有的MRC数据集作为交互式的,部分可观察的环境。具体来说,我们“遮挡”了文档的大部分文本,并添加了上下文敏感的命令,以揭示模型中隐藏文本的“一瞥”。我们重新SQuAD和NewsQA作为一个初步的案例研究,然后展示如何互动语料库可以用来训练模型,寻求相关信息,通过顺序决策。我们相信,这种设置可以有助于将模型扩展到Web级QA场景。
2020-04-16 cs.CL cs.LG stat.ML
Measuring Similarity of Interactive Driving Behaviors Using Matrix Profile
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Tsinghua Automotive Research Institute (Suzhou)(清华苏州汽车研究院)
利用时间序列观测来理解多车交互行为对于自主车辆在不确定的交通环境中做出适当的决策至关重要。按需相似性度量对于自动驾驶车辆通过聚类和分类不同场景来处理大规模交互驾驶行为具有重要意义。本文提出了一种通用的方法来衡量时空相似性的互动行为,使用多元矩阵轮廓技术。该方法的关键吸引人的特点是其优越的空间和时间复杂度,实时在线计算的流量数据流,并可能利用硬件并行计算的能力。通过从序列数据中自动发现交叉口相似交互驾驶行为,验证了该方法的有效性。
2020-03-11 cs.AI cs.LG
Interactive Decision Tree Creation and Enhancement with Complete Visualization for Explainable Modeling
Central Washington University(中华盛顿大学)
本文提出两种基于通用线坐标(BC和SPC)的决策树可视化新方法,可完整展示属性关系、数据流、阈值敏感性和案例密度,帮助专家评估和改进模型并防止过拟合。
2023-05-28 cs.HC cs.LG
Interactive Multi-Objective Probabilistic Preference Learning with Soft and Hard Bounds
Department of Computer Science(计算机科学系);Stanford University(斯坦福大学)
研究高风险决策中多目标平衡问题,提出Active-MoSH框架,其局部组件结合概率偏好学习与主动采样,全局组件利用多目标敏感性分析,提升决策信心,通过实验验证其性能优势。
2026-07-07 cs.AI cs.LG
Efficient Online Learning for Optimizing Value of Information: Theory and Application to Interactive Troubleshooting
Caltech(加州理工学院);Xerox Research Center Europe(施乐欧洲研究中心);ETH Zurich(苏黎世联邦理工学院)
我们考虑的最优信息值(VoI)问题,其目标是顺序选择一组具有最小成本的测试,以便可以有效地根据观察到的结果做出最佳决策。现有的算法要么是没有保证的算法,要么是可扩展性差的算法(就可用测试的数量而言,运行时间是指数级的)。此外,这些方法假设测试结果的分布是已知的,这在实践中往往不是这样。我们提出了一个有效的基于采样的在线学习框架来解决上述问题。首先,假设的分布是已知的,我们提出了一个动态的假设枚举策略,它允许有效的信息收集与强有力的理论保证。我们表明,有足够的样本量,可以确定一个接近最优的决策概率很高。其次,当假设分布的参数是未知的,我们提出了一种算法,逐步学习的参数通过后验抽样在线的方式。我们进一步建立了一个严格的边界上的预期遗憾。我们证明了我们的方法在现实世界中的交互式故障排除应用程序的有效性,并表明,一个可以有效地作出高质量的决策,低成本。
2017-07-17 cs.AI cs.LG stat.ML
Rethinking Explainability as a Dialogue: A Practitioner's Perspective
Harvard University(哈佛大学);UC Irvine(加州大学欧文分校);University of Chicago(芝加哥大学);AI2(艾伦人工智能研究所)
随着从业者越来越多地在医疗保健、金融和政策等关键领域部署机器学习模型,确保领域专家与这些模型一起有效运作变得至关重要。可解释性是弥合人类决策者和机器学习模型之间差距的一种方法。然而,大多数关于可解释性的现有工作都集中在一次性的静态解释上,如特征重要性或规则列表。对于许多需要利益相关者动态、持续发现的用例来说,这些解释可能还不够。在文献中,很少有著作询问决策者现有解释的效用以及他们希望在未来的解释中看到的其他必要条件。在这项工作中,我们解决了这一差距,并进行了一项研究,我们采访了医生,医疗保健专业人员和政策制定者,了解他们对解释的需求和愿望。我们的研究表明,决策者强烈倾向于互动的解释形式的自然语言对话。领域专家希望将机器学习模型视为“另一个同事”,即,一个可以通过询问他们为什么通过表达和可访问的自然语言交互做出特定决定来追究责任的人。考虑到这些需求,我们概述了一组五个原则,研究人员应该遵循时,设计交互式解释作为未来工作的起点。此外,我们展示了为什么自然语言对话满足这些原则,是一个理想的方式来建立互动的解释。接下来,我们提供了一个设计的对话系统的可解释性和讨论的风险,权衡,并建立这些系统的研究机会。总的来说,我们希望我们的工作可以作为研究人员和工程师设计交互式可解释性系统的起点。
2022-02-03 cs.LG
A Conflicts-free, Speed-lossless KAN-based Reinforcement Learning Decision System for Interactive Driving in Roundabouts
James Watt School of Engineering, University of Glasgow(格拉斯哥大学詹姆斯·瓦特工程学院);Faculty of Science, University of Amsterdam(阿姆斯特丹大学科学学院);School of Computer and Mathematical Sciences, The University of Adelaide(阿德莱德大学计算机与数学科学学院);University of Michigan-Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University(密歇根大学-上海交通大学联合研究所,上海交通大学);School of Electrical and Electronic Engineering, University College Dublin(都柏林大学学院电子与电气工程学院)
针对混合交通下环形交叉路口自动驾驶的安全与效率问题,提出一种基于深度Q学习与KAN的强化学习决策系统,结合动作检查器、路线规划器和模型预测控制,实现了更少碰撞和更短行驶时间,显著优于现有方法。
2025-09-12 cs.AI cs.LG cs.RO
The Skincare project, an interactive deep learning system for differential diagnosis of malignant skin lesions. Technical Report
German Research Center for Artificial Intelligence(德国人工智能研究中心)
皮肤科医生的短缺导致寻求皮肤科护理的患者等待时间很长。此外,据报道,全科医生的诊断准确率低于人工智能软件的准确率。本文介绍了护肤项目(H2020,EIT Digital)。贡献包括基于交互式机器学习(IML)的临床决策支持技术,这是数字欧洲医疗保健基础设施的参考架构(也参考EIT MCPS),用于聚合数字化患者信息的技术组件,以及将决策支持技术集成到临床试验台环境中。然而,其主要贡献是为患者和医生提供皮肤病学诊断和决策支持系统,这是一个用于恶性皮肤病变鉴别诊断的交互式深度学习系统。在本文中,我们描述了它的功能和用户界面,以促进机器从人类输入中学习。基线深度学习系统提供了最先进的结果,并有可能增强全科医生甚至皮肤科医生的能力,该系统是使用来自皮肤病学图像数据库(ISIC)的去识别病例开发和验证的,该数据库有大约20000个用于开发和验证的病例,由委员会认证的皮肤科医生提供,定义了每个病例的参考标准。ISIC允许进行鉴别诊断,这是一个八种诊断的排名列表,用于在诊断模糊的常见环境中规划治疗。我们给出了护肤项目的成果的总体描述,我们专注于IML中支持人与机器之间的通信和协调的步骤。这是医疗领域未来认知助手发展的一个组成部分,我们描述了必要的智能用户界面。
2020-05-19 cs.CV cs.LG eess.IV
A Brief Guide to Designing and Evaluating Human-Centered Interactive Machine Learning
DeepMind(深度思维)
交互式机器学习(IML)是一个研究领域,探索如何在决策系统中利用人类和计算能力。IML代表了多个互补的人类和机器智能系统之间的协作,每个系统都有自己独特的能力和局限性。这种团队合作可能意味着两个系统同时或按顺序采取行动。IML领域的两个主要开放研究问题是:“我们应该如何设计能够随着时间的推移通过人机交互学习做出更好决策的系统?以及"我们应该如何评估这种系统的设计和部署?“对所涉及的人缺乏适当的考虑可能会导致系统行为问题,以及公平性、问责制和透明度问题。因此,我们这项工作的目标是提出一个以人为本的指南,以设计和评估IML系统,同时降低风险。本指南旨在供负责人类互动的健康、安全和福祉的机器学习从业者使用。对公众互动负责的义务意味着正直、诚实、公平地行事,并遵守适用的法律法规。牢记这些价值观和原则,我们作为机器学习研究社区可以更好地实现增强人类技能和能力的目标。因此,本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2022-04-20 cs.GL cs.HC cs.LG
Integrating remote sensing data assimilation, deep learning and large language model for interactive wheat breeding yield prediction
College of Biosystems Engineering and Food Science, Zhejiang University(浙江大学生物系统工程与食品科学学院);College of Agriculture and Biotechnology, Zhejiang University(浙江大学农业与生物技术学院);The University of Manchester(曼彻斯特大学);University of Toronto(多伦多大学)
针对小麦育种产量预测精度与工具易用性不足,提出融合遥感数据同化、时序深度学习模型及 RAG 增强 LLM 的交互式 Web 预测工具。
2025-01-08 cs.AI cs.LG
Knowledge-guided Deep Reinforcement Learning for Interactive Recommendation
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
交互式推荐旨在从项目和用户之间的动态交互中学习,以实现响应性和准确性。强化学习在应对动态环境方面具有先天优势,因此在交互式推荐研究中引起了越来越多的关注。受知识感知推荐的启发,本文提出了知识引导的深度强化学习(KGRL),利用强化学习和知识图谱的优势进行交互式推荐。该模型是在演员-评论家网络框架上实现的。它维护一个本地知识网络来指导决策,并采用注意力机制来捕获项目之间的长期语义。我们在模拟的在线环境中使用六个公开的真实世界数据集进行了全面的实验,并证明了我们的模型优于几种最先进的方法。
2020-04-17 cs.IR cs.LG stat.ML
BIDA: A Bi-level Interaction Decision-making Algorithm for Autonomous Vehicles in Dynamic Traffic Scenarios
Tongji University(同济大学);Yale University(耶鲁大学)
提出BIDA算法,融合交互式蒙特卡洛树搜索与深度强化学习,通过价值与策略网络引导推演,提升自动驾驶在动态场景中的交互安全性、效率与合理性。
2025-06-19 cs.AI cs.ET cs.LG
CAIPI in Practice: Towards Explainable Interactive Medical Image Classification
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS);Nuremberg Institute of Technology Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆技术学院)
如果医生不能向你解释他们的决定,你会相信他们吗?使用机器学习的医疗诊断在过去十年中变得非常重要。然而,在没有进一步增强的情况下,许多最先进的机器学习方法不适合于医学应用。最重要的原因是数据集质量不足和深度学习模型等机器学习算法的黑箱行为。因此,最终用户无法纠正模型的决定和相应的解释。后者对于医学领域机器学习的可信度至关重要。研究领域可解释的交互式机器学习寻找解决这两个缺点的方法。本文扩展了可解释和交互式CAIPI算法,并提供了一个接口,以简化人在回路的方法图像分类。该界面使最终用户能够(1)调查和(2)纠正模型的预测和解释,以及(3)影响数据集质量。在每次迭代仅使用单个反例的CAIPI优化之后,该模型在医疗MNIST上实现了$97.48\%$的准确度,在时尚MNIST上实现了$95.02\%$的准确度。这种准确性大约等于最先进的深度学习优化程序。此外,CAIPI减少了大约$80\%$的标记工作。
2022-05-31 cs.CV cs.LG eess.IV
Explainability Requires Interactivity
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Hasso Plattner Institute for Digital Health, Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
在解释深层神经网络的决策时,简单的故事很诱人,但也很危险。特别是在计算机视觉中,最流行的解释方法给用户一种错误的理解感,并提供一个过于简单的图片。我们引入了一个交互式框架来理解现代视觉模型的高度复杂的决策边界。它允许用户彻底检查,探测和测试网络的决策。在一系列的案例研究中,我们比较了我们的交互式方法与静态解释方法的力量,展示了这些方法如何导致用户误入歧途,并可能带来严重的后果。
2021-09-16 cs.CV cs.HC cs.LG
ACS: An interactive framework for conformal selection
Department of Statistics and Data Science, University of Pennsylvania(统计与数据科学系,宾夕法尼亚大学);Department of Statistics, Stanford University(统计系,斯坦福大学)
本文提出自适应共形选择(ACS)框架,通过控制决策可用信息,在人在回路的自适应数据分析中保证FDR控制,并应用于LLM部署与药物发现等任务。
2025-07-21 cs.LG stat.ME stat.ML
ALMo: Interactive Aim-Limit-Defined, Multi-Objective System for Personalized High-Dose-Rate Brachytherapy Treatment Planning and Visualization for Cervical Cancer
Stanford University(斯坦福大学);University of Washington(华盛顿大学);Stanford University School of Medicine(斯坦福大学医学院);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院)
ALMo是一种用于宫颈癌高剂量率近距离治疗的交互式多目标系统,通过自动化参数设置和直观的剂量学权衡控制,提高治疗计划质量和效率。
2026-02-14 cs.AI cs.LG
Model-Free Reinforcement Learning with the Decision-Estimation Coefficient
Microsoft(微软)
本文结合 Estimation-to-Decisions 与乐观估计,基于决策-估计系数推导无模型值函数逼近强化学习的遗憾界,并刻画其适用边界。
2023-08-12 cs.LG math.OC math.ST
Evaluating Bayesian Model Visualisations
University of Glasgow(格拉斯哥大学)
概率模型为越来越广泛的商业和政策决策提供信息,这些决策最终由人们做出。最近的算法,计算和软件框架的开发进展促进了贝叶斯概率模型的扩散,它通过它们的联合分布而不是点估计来计算未观察到的参数。虽然它们可以使决策者能够探索复杂的查询,并在理论上执行假设式调节,但需要适当的可视化和交互式工具,以最大限度地提高用户的理解力,并在不确定性下做出理性决策。在本文中,提出了一个协议的贝叶斯模型可视化的定量评估,并介绍了实现该协议的软件框架,以支持标准化的评估实践,并促进再现性。我们说明了用户研究的评估和分析工作流程,探讨是否使箱形图和假设结果图交互可以增加理解或合理性,并得出结论,为研究人员希望在未来进行类似的研究设计准则。
2022-01-10 cs.HC cs.LG
Assessing the Usability of GutGPT: A Simulation Study of an AI Clinical Decision Support System for Gastrointestinal Bleeding Risk
Yale University(耶鲁大学);CUNY Baruch College(纽约市立大学巴鲁克学院);Yale School of Medicine(耶鲁医学院);University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
本研究通过临床模拟测试消化道出血风险预测大语言模型GutGPT对医护人员接受度与信任的影响,发现其对接受度影响不一但可提升内容掌握度,为优化AI临床决策支持系统提供参考。
2023-12-06 cs.AI cs.HC cs.LG
Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment
以人为本的AI考虑人类体验与AI性能。虽然大量的研究一直在帮助人工智能通过全自动或弱监督学习来实现超人的表现,但很少有人尝试人工智能如何在细粒度输入的情况下根据人类的偏好技能水平进行调整。在这项工作中,我们通过从人类决策过程中学习,将课程强化学习结果引导到一个既不太难也不太容易的首选性能水平。为了实现这一目标,我们开发了一个便携式,交互式平台,使用户能够通过操纵任务难度,观察性能,并提供课程反馈在线与代理进行交互。我们的系统是高度并行化的,使人类能够在没有服务器的情况下训练需要数百万样本的大规模强化学习应用程序。结果证明了涉及人在回路的强化学习交互式课程的有效性。这表明强化学习的性能可以成功地与人类期望的难度水平同步调整。我们相信这项研究将为实现流动和个性化适应困难打开新的大门。
2022-08-04 cs.AI cs.HC cs.LG
Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation
Stanford University(斯坦福大学);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院);Honda Research Institute USA(美国本田研究院)
本文提出将三个时空关系推理辅助任务集成到标准DRL框架中,通过反事实推理推断周围智能体内部状态并预测轨迹,结合时空图神经网络与交互性估计机制,显著提升了多智能体环境下的自主导航性能与可解释性。
2023-11-27 cs.AI cs.CV cs.LG
From Pixels to Words: Leveraging Explainability in Face Recognition through Interactive Natural Language Processing
Universidad Autonoma de Madrid(马德里自治大学);Paderborn University(帕德博恩大学)
本文提出交互式自然语言处理框架,通过结合XAI和NLP技术提升人脸识别的可解释性,同时保持识别性能,增强用户对决策过程的理解。
2024-12-09 cs.AI cs.CV cs.CY
Reason to explain: Interactive contrastive explanations (REASONX)
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学院)
REASONX是一个基于约束逻辑编程的交互式对比解释工具,通过整合背景知识、处理信息不充分场景并为决策树及代理模型生成事实与对比规则,提升了机器学习模型解释的灵活性和用户适配性。
2023-05-29 cs.AI cs.CY cs.LG