When Thinking Pays Off: Incentive Alignment for Human-AI Collaboration
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);IBM Research(IBM 研究院)
研究探讨了人机协作中激励结构对过度依赖AI的影响,提出新的激励机制减少过度依赖,通过实验验证其有效性,强调激励设计需与任务和互补性对齐。
2026-05-14 cs.HC
Enhancing Critical Thinking with AI: A Tailored Warning System for RAG Models
本研究针对RAG系统中的幻觉问题,提出基于幻觉上下文的定制化警告信息,在教育测验场景中考察其对用户推理和决策的影响,发现警告虽能提升准确性但可能引发认知摩擦,旨在推动AI从被动信息提供转向主动支持人类批判性思维。
2025-04-23 cs.HC
Human Creativity in the Age of LLMs: Randomized Experiments on Divergent and Convergent Thinking
本研究通过两项1,100人参与的预注册随机实验,比较标准LLM与教练式LLM对发散和聚合思维的影响,发现AI辅助虽有短期增益,却可能削弱随后无辅助时的独立创造力。
2025-02-15 cs.HC
"Are You Really Sure?" Understanding the Effects of Human Self-Confidence Calibration in AI-Assisted Decision Making
本研究从人类自我信心校准角度出发,通过三项研究探讨其与AI依赖的关系,提出三种校准机制,证明校准能提升人机团队绩效并促进理性依赖,为AI辅助决策界面设计提供启示。
2024-03-14 cs.HC
Student Engagement in AI Assisted Complex Problem Solving: A Pilot Study of Human AI Rubik's Cube Collaboration
Cornell University(康奈尔大学);University of Houston(休斯顿大学);University of South Carolina(南卡罗来纳大学)
本文提出ALLURE系统,利用AI算法DeepCubeA指导学生解决魔方第一步,通过试点研究分析学生行为与STEM技能的关联,为未来教育数据挖掘提供基础。
2025-11-03 cs.AI cs.HC
The Design Space of Recent AI-assisted Research Tools for Ideation, Sensemaking, and Scientific Creativity
University of Toronto(多伦多大学)
本研究调查了近期AI辅助研究工具的设计空间,区分工作流模拟与生成性探索,提出四项设计建议,以促进认知参与并推动从复制向共同创造的转变。
2025-04-19 cs.AI cs.HC
Disrupting Cognitive Passivity: Rethinking AI-Assisted Data Literacy through Cognitive Alignment
Boston College(波士顿学院);Inria(法国国家信息与自动化研究所);University of Edinburgh(爱丁堡大学)
本文提出通过认知对齐框架,重新设计人工智能辅助的数据素养,以避免认知惰性,促进主动思考。
2026-04-03 cs.AI cs.HC
Designing for Appropriate Reliance: The Roles of AI Uncertainty Presentation, Initial User Decision, and User Demographics in AI-Assisted Decision-Making
本文研究AI不确定性呈现方式如何促进适当依赖,发现以频率形式呈现校准后的不确定性可减少确认偏误,且用户初始决策和人口统计特征会影响人机协同决策,为个性化AI辅助设计提供依据。
2024-01-15 cs.HC
AI Delivers Creative Output but Struggles with Thinking Processes
本研究对比AI模型与人类在多种创造性任务中的表现,发现AI虽在发散与聚合思维上超越人类,但缺乏真正的创造性思考过程,其优异表现源于非创造性机制。
2025-03-30 cs.HC
Heterogeneity in Algorithm-Assisted Decision-Making: A Case Study in Child Abuse Hotline Screening
军事风险评估工具现在在刑事司法和人类服务等公共部门领域很常见。这些工具旨在帮助决策者系统地使用行政系统中获取的丰富而复杂的数据。在这项研究中,我们调查了在现实世界的虐待儿童热线筛查用例的背景下,工人决策和算法风险评分之间的一致性的异质性来源。具体来说,我们专注于与工人经验相关的异质性。我们发现,即使在我们控制了观察到的算法风险评分和其他病例特征之后,高级工作人员也更有可能在转介调查中进行筛选。我们还观察到,经验较少的工人的决策与算法风险评分的一致性比在工具引入之前有决策经验的高级工人更高。虽然筛查决定因儿童种族而异,但我们没有发现工人经验和筛查决定之间关系存在种族差异的证据。我们的研究结果表明,重要的是,机构和系统设计者在将算法引入高员工流动率环境(如儿童福利呼叫筛选)时,要考虑如何保留机构知识。
2022-04-12 cs.HC
Understanding how the use of AI decision support tools affect critical thinking and over-reliance on technology by drug dispensers in Tanzania
Elsa Health Inc.(Elsa Health公司);Inspired Ideas Research Foundation(灵感创意研究基金会);Apotheker Consultancy (T) Limited(Apotheker咨询(坦桑尼亚)有限公司)
人工智能在医疗保健中的使用旨在改善医疗服务,并增强提供者的决策,以改善患者的治疗效果。当部署在临床环境中时,提供者和人工智能之间的交互是衡量和理解这些数字化工具对更广泛健康结果的有效性的关键组成部分。即使在人工智能算法具有高诊断准确性的情况下,医疗保健提供者通常仍然依赖他们的经验,有时甚至是直觉来做出最终决定。其他时候,供应商毫无疑问地依赖于人工智能模型的输出,这导致了对技术过度依赖的担忧。这项研究的目的是了解药店配药员在确定临床病例的鉴别诊断时对人工智能技术的依赖程度。我们探讨了药物分配器如何应对总是正确的技术,试图衡量他们是否开始依赖它,而没有任何自己的批判性思维。我们发现,分配器在25%的时间里依赖于AI做出的决定,即使AI没有解释它的决定。
2023-02-22 cs.AI cs.HC cs.LG
From Text to Trust: Empowering AI-assisted Decision Making with Adaptive LLM-powered Analysis
Purdue University(普渡大学);Texas A&M University(德克萨斯农工大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对人们因缺乏AI解释而无法恰当依赖AI辅助决策的问题,本文先通过实验发现直接呈现LLM驱动的特征分析无显著效果,进而提出动态选择分析内容的算法框架,有效提升了决策者对AI的恰当依赖。
2025-02-17 cs.CL cs.HC
What Does Success Look Like? Catalyzing Meeting Intentionality with AI-Assisted Prospective Reflection
针对现有会议技术缺乏前瞻性反思支持的问题,研究设计了基于生成式AI的会议目的助手MPA,经企业员工测试验证了其在明确会议目标等方面的作用,并提出相关设计考量。
2025-05-20 cs.HC
Investigating the Effects of LLM Use on Critical Thinking Under Time Constraints: Access Timing and Time Availability
University of Chicago(芝加哥大学);University of Toronto(多伦多大学)
研究发现LLM访问时间与时间可用性对批判性思维表现有显著影响,早期连续访问在时间压力下提升表现,但充足时间下反而损害表现。
2026-03-09 cs.HC
SurrealDriver: Designing LLM-powered Generative Driver Agent Framework based on Human Drivers' Driving-thinking Data
本文提出SurrealDriver框架,利用人类驾驶员的驾驶思维数据作为示范和反馈,构建类人LLM驱动驾驶智能体,显著降低碰撞率81.04%并提升人类相似度50%。
2024-07-22 cs.HC
Automation Bias in AI-Assisted Medical Decision-Making under Time Pressure in Computational Pathology
该研究针对计算病理学中AI辅助决策的自动化偏见问题,通过28名病理专家的实验发现,AI虽提升整体表现但存在7%的偏见率,时间压力未增加偏见发生却会加重其严重程度,凸显医疗AI使用风险。
2024-11-01 cs.HC
Beyond Recommender: An Exploratory Study of the Effects of Different AI Roles in AI-Assisted Decision Making
The Hong Kong University of Science and Technology(香港科技大学);ShanghaiTech University(上海科技大学);Purdue University(普渡大学)
本文通过实验比较Recommender、Analyzer和Devil’s Advocate三种AI角色在两种AI性能水平下的影响,发现推荐者并非总是最优,为自适应AI助手设计提供依据。
2024-03-04 cs.AI cs.HC
Supporting Data-Frame Dynamics in AI-assisted Decision Making
University of Queensland(昆士兰大学)
针对高风险决策中证据与假设动态交互不足的问题,提出基于数据框架理论和评估性AI的混合主动框架,支持人机协作构建和调整假设,并通过皮肤癌诊断原型验证。
2025-04-22 cs.AI cs.HC
Friction in AI-Assisted Clinical Decision-Making: A Case Study on The Role of Questions and 'What-if' Scenarios
Donders Institute for Brain, Cognition, and Behaviour, Radboud University(拉德堡德大学多德斯大脑、认知与行为研究所);Interdisciplinary Hub for Digitalization and Society (iHub) and Institute for Computing and Information Sciences (iCIS), Radboud University(拉德堡德大学数字化与社会跨学科中心及计算与信息科学研究所);Radboud UMC(拉德堡德大学医学中心);Sint Maartenskliniek(圣马丁诊所)
研究通过数据驱动问题和“假设”分析两种摩擦形式,探讨如何促进临床医生认知参与和反思,发现问题有助于提醒但无助于反思,而假设分析可能改善患者护理。
2026-10-28 cs.HC
Determinants of LLM-assisted Decision-Making
Ferdinand Porsche Mobile University of Applied Sciences (FERNFH)(费迪南德保时捷移动应用科学大学(FERNFH))
本文通过系统文献分析,梳理了透明度、提示工程、情绪、任务难度等影响LLM辅助决策的决定因素,并提出依赖框架揭示其相互依赖关系,为优化人机协作决策和LLM界面设计提供理论基础。
2024-02-27 cs.AI cs.HC
Supporting Reflection and Forward-Looking Reasoning With Data-Driven Questions
Donders Institute for Brain, Cognition, and Behaviour, Radboud University(拉德堡德大学多德斯脑与认知研究所);Interdisciplinary Hub for Digitalization and Society (iHub) and Institute for Computing and Information Sciences (iCIS), Radboud University(拉德堡德大学数字化与社会跨学科中心及计算与信息科学研究所)
本文探讨通过数据驱动问题促进反思与前瞻性推理,提出问题分类法、医疗领域原型及临床反馈、基于大语言模型的问题生成方法及认知参与度测量量表,旨在推动思维工具的设计与评估。
2026-03-28 cs.HC
Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making
IBM Research AI(IBM研究院人工智能部门)
如今,人工智能正越来越多地用于帮助人类专家在高风险场景中做出决策。在这些场景中,完全自动化通常是不可取的,这不仅是因为结果的重要性,还因为人类专家可以利用他们的领域知识补充模型,以确保任务成功。我们将这些场景称为人工智能辅助决策,其中人类和人工智能的个体优势结合在一起,以优化联合决策结果。他们成功的关键是在个案基础上适当地\textit{calibrate}人类对AI的信任;知道何时信任或不信任AI允许人类专家适当地应用他们的知识,在模型可能表现不佳的情况下改善决策结果。本研究对人工智能辅助决策进行了案例研究,其中人类和人工智能单独具有可比的性能,并探讨了揭示特定案例模型信息的功能是否可以校准信任并提高人类和人工智能的联合性能。具体来说,我们研究的效果,显示的信心分数和当地的解释一个特定的预测。通过两个人类实验,我们表明,置信度可以帮助校准人们对AI模型的信任,但信任校准本身并不足以改善AI辅助决策,这可能还取决于人类是否能够带来足够的独特知识来补充AI的错误。我们还强调了在人工智能辅助决策场景中使用本地解释的问题,并邀请研究界探索新的方法来校准人类对人工智能的信任。
2020-01-07 cs.AI cs.HC
Exploring the Role of Theory of Mind in Human Decision Making: Cognitive, Spatial, and Emotional Influences in the Adversarial Rock-Paper-Scissors Game
University of Dayton(代顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文以石头剪刀布游戏为平台,结合心理理论测试与因子分析、结构方程建模,揭示递归思维、情绪感知和空间推理等潜在因子对人类对抗性决策的影响,为人机协作系统设计提供依据。
2025-11-07 cs.HC
Augmenting Human Cognition With Generative AI: Lessons From AI-Assisted Decision-Making
fortiss GmbH, Research Institute of the Free State of Bavaria(巴伐利亚自由州弗劳恩霍夫应用研究促进协会下属研究所(fortiss GmbH));LMU Munich(慕尼黑大学);Microsoft Research(微软研究院)
本文回顾AI辅助决策研究,指出提供端到端解决方案的局限,提出过程导向支持方法以增强而非取代人类认知,并验证其对生成式AI的适用性。
2025-04-04 cs.AI cs.HC
A Modular Cognitive Architecture for Assisted Reasoning: The Nemosine Framework
Edervaldo José de Souza Melo
Nemosine框架通过模块化认知架构实现辅助推理和系统分析,结合元认知与分布式认知原理,提供结构化问题解决的计算基础。
2025-12-04 cs.AI cs.HC cs.MA
Does More Advice Help? The Effects of Second Opinions in AI-Assisted Decision Making
Purdue University(普渡大学);Northeastern University(东北大学)
本文通过三项随机实验研究AI辅助决策中第二意见的作用,发现同时呈现第二意见可减少过度依赖但增加依赖不足,而由决策者主动征求第二意见则有望在部分情况下减轻过度依赖而不加剧依赖不足。
2024-01-13 cs.AI cs.HC
Decoding AI's Nudge: A Unified Framework to Predict Human Behavior in AI-assisted Decision Making
Purdue University(普渡大学)
本文提出一个统一计算框架,将AI辅助视为决策中的“助推”,通过可解释地建模人类信息权衡策略的变化来预测AI辅助决策行为,并在真实数据上验证其优于基线方法,同时揭示不同认知风格个体受AI助推的差异。
2024-01-11 cs.AI cs.HC
Who Should I Trust: AI or Myself? Leveraging Human and AI Correctness Likelihood to Promote Appropriate Trust in AI-Assisted Decision-Making
The Hong Kong University of Science and Technology(香港科技大学);East China Normal University(华东师范大学);Purdue University(普渡大学)
在人工智能辅助决策中,人类决策者必须知道何时信任人工智能,何时信任自己。然而,之前的研究仅基于AI的正确性可能性(CL)的AI信心来校准人类信任,但忽略了人类的CL,阻碍了最佳团队决策。为了缩小这一差距,我们提出了在任务实例级别上基于双方的CL来促进人类的适当信任。我们首先通过近似他们的决策模型和计算他们在类似情况下的潜在表现来模拟人类的CL。我们通过两个初步研究证明了我们的模型的可行性和有效性。然后,我们提出了三个CL开发策略,以校准用户的信任显式/隐式在人工智能辅助决策过程。受试者间实验(N=293)的结果表明,与仅使用AI信心相比,我们的CL开发策略促进了更适当的人类对AI的信任。我们进一步为更具人性化的人工智能辅助决策提供了实际影响。
2023-01-14 cs.AI cs.HC cs.LG
Utilizing Human Behavior Modeling to Manipulate Explanations in AI-Assisted Decision Making: The Good, the Bad, and the Scary
Purdue University(普渡大学)
本文定量建模人类如何整合AI建议与解释,并利用该模型操纵AI解释以引导个体决策,实验表明人类行为易受此操纵且难以察觉异常。
2024-11-02 cs.AI cs.HC
Beyond Accuracy: How AI Metacognitive Sensitivity improves AI-assisted Decision Making
Department of Cognitive Sciences University of California, Irvine(认知科学系 加州大学尔湾分校)
本文提出AI元认知敏感性在辅助决策中的关键作用,构建理论框架并验证其与预测准确率的联合影响,发现高敏感性可提升人类决策表现。
2025-08-13 cs.AI cs.HC
Towards Optimizing Human-Centric Objectives in AI-Assisted Decision-Making With Offline Reinforcement Learning
Harvard University(哈佛大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出将离线强化学习作为AI辅助决策中优化以人为中心目标的通用方法,通过定制化决策支持实现人机交互优化,实验验证了其在准确率提升上的显著效果及人类学习优化的难度,为该领域提供了新方向。
2024-04-14 cs.AI cs.HC
Promoting Critical Thinking With Domain-Specific Generative AI Provocations
Carnegie Mellon University(卡内基梅隆大学)
本文通过两个生成式AI工具的案例,探讨领域特定的AI挑衅如何通过产生摩擦和用户互动促进批判性思维,强调需超越静态挑衅向适应用户需求的设计转型。
2026-03-20 cs.AI cs.HC
Taking Advice from (Dis)Similar Machines: The Impact of Human-Machine Similarity on Machine-Assisted Decision-Making
机器学习算法越来越多地用于辅助人类决策。当机器辅助的目标是提高人类决策的准确性时,设计补充人类知识的ML算法似乎很有吸引力。虽然算法和人类都不是完全准确的,但人们可以期望他们的互补专业知识可能会带来更好的结果。在这项研究中,我们证明,在实践中,决策辅助工具,不是互补的,但类似于人类的错误可能有自己的好处。在一系列共有901名参与者的人类受试者实验中,我们研究了人类和机器错误的相似性如何影响人类对算法决策辅助工具的感知和交互。我们发现,(i)人们认为更相似的决策辅助工具更有用,更准确,更可预测,(ii)人们更有可能从更相似的决策辅助工具中接受相反的建议,而(iii)与人类不太相似的决策辅助工具有更多的机会提供相反的建议,从而对人们的决策产生更大的影响。
2022-09-08 cs.CY cs.HC
Value-based Fast and Slow AI Nudging
Union College(联合学院);University of Parma(帕尔马大学);IBM Research(IBM研究院);University of Brescia(布雷西亚大学);Tulane University(杜兰大学);Institute for Human and Machine Cognition(人类与机器认知研究所)
提出一种基于价值的 AI-人类协作助推框架,依据决策价值动态选择激发快速思维、慢速思维或元认知的建议模态。
2023-07-14 cs.AI cs.CY cs.HC
A Taxonomy of Questions for Critical Reflection in Machine-Assisted Decision-Making
Donders Institute for Brain, Cognition, and Behaviour(达德斯大脑、认知与行为研究所);iHub, Radboud University(拉博大学iHub)
针对机器辅助决策中过度依赖和认知参与度低的问题,提出基于苏格拉底式提问和可解释AI问题库的问题分类法,以促进反思和有效人类监督。
2025-08-26 cs.CY cs.HC
Communicating Complex Decisions in Robot-Assisted Therapy
Edinburgh Centre for Robotics(爱丁堡机器人中心);Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学)
社会辅助机器人(SAR)在治疗场景中显示出作为决策指导者或激励同伴的潜力。在人际治疗中,专家经常交流他们所做决定背后的思维过程,以提高透明度和建立信任。由于研究旨在将更复杂的决策模型纳入这些机器人中以促进更好的交互,SAR解释其决策的能力成为一个越来越大的挑战。我们提出了复杂的SAR决策者的最新例子。我们认为,基于人与人治疗中透明沟通的重要性,SAR应将这些组件纳入其设计中。为了激发围绕这一主题的讨论,我们提出了一套设计考虑的研究人员。
2023-03-24 cs.AI cs.HC cs.RO
Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making
The Hong Kong University of Science and Technology(香港科技大学);Purdue University(普渡大学);Sun Yat-sen University(中山大学)
本文提出人机协商框架及基于大语言模型的协商式AI,通过维度级意见征询与讨论促进人类反思,实验表明其在提升决策依赖合理性与任务表现上优于传统可解释AI助手。
2025-03-11 cs.AI cs.HC
Deciding Fast and Slow: The Role of Cognitive Biases in AI-assisted Decision-making
Carnegie Mellon University(卡内基梅隆大学);Twitter(推特);IBM Research(IBM研究院);Onfido
几项研究旨在弥合人工智能(AI)和人类决策者在AI辅助决策方面的差距,人类是AI模型预测的消费者,也是高风险应用程序的最终决策者。然而,人们的感知和理解往往被他们的认知偏差所扭曲,如确认偏差、锚定偏差、可用性偏差等。在这项工作中,我们使用认知科学领域的知识来解释人类-人工智能协作决策环境中的认知偏见,并减轻其对协作绩效的负面影响。为此,我们对认知偏差进行了数学建模,并提供了一个通用框架,通过该框架,研究人员和从业者可以了解认知偏差与人类-AI准确性之间的相互作用。然后,我们特别关注锚定偏差,这是人类与人工智能合作中常见的偏差。我们实施了一种基于时间的去锚策略,并进行了第一次用户实验,以验证其在人类-人工智能协作决策中的有效性。有了这个结果,我们为资源受限的环境设计了一个时间分配策略,在一些假设下实现了最佳的人类-AI协作。然后,我们进行了第二次用户实验,结果表明,我们的时间分配策略与解释可以有效地脱锚人类和提高协作性能时,人工智能模型具有低置信度,是不正确的。
2022-04-04 cs.HC cs.LG
Cognitive Dissonance Artificial Intelligence (CD-AI): The Mind at War with Itself. Harnessing Discomfort to Sharpen Critical Thinking
本文提出认知失调AI(CD-AI)框架,通过刻意维持不确定性、延迟解决并促进辩证参与,迫使用户应对矛盾与竞争性真理,从而增强反思性推理、批判性思维与认知谦逊,挑战了传统AI简化决策的范式。
2025-04-23 cs.CY cs.HC
Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments
Department of Mechanical & Industrial Engineering, University of Toronto(机械与工业工程系,多伦多大学);The Rotman School of Management, University of Toronto(罗特曼管理学院,多伦多大学);Department of Psychiatry, University of Toronto(精神病学系,多伦多大学)
本文通过多臂老虎机实验比较语言模型、人类和算法的探索-利用策略,发现启用思考使语言模型行为更接近人类,但在复杂环境中表现受限。
2026-05-01 cs.AI cs.CL cs.HC
Annie, Are You Okay? How Style- and Context-Based Personalization Shape AI-Assisted Decision-Making
Northeastern University(东北大学);University College Dublin(都柏林大学学院)
本研究通过预注册实验发现,基于上下文的个性化(而非风格个性化)能可靠改变用户对股票排序的决策,使其向AI推荐靠拢,且影响在低专业知识用户中更强,引发对个性化决策支持治理的担忧。
2026-09-22 cs.AI cs.HC
Effective Yet Ephemeral Propaganda Defense: There Needs to Be More than One-Shot Inoculation to Enhance Critical Thinking
University of Zurich(苏黎世大学);University of Lausanne(洛桑大学)
本研究基于接种理论结合双系统理论,通过两阶段实验测试宣传检测工具对批判性思维的影响,发现单次使用仅能短期提升效果,需探索长期增强宣传抵御能力的方法。
2025-03-11 cs.AI cs.CY cs.HC
Human-AI collaboration is not very collaborative yet: A taxonomy of interaction patterns in AI-assisted decision making from a systematic review
Johns Hopkins University(约翰斯·霍普金斯大学)
针对AI辅助决策中人机交互缺乏通用词汇的问题,提出交互模式分类法,基于105篇文献综述揭示当前协作范式简单,旨在促进交互设计以实现清晰沟通、可信赖与协作。
2024-03-18 cs.AI cs.HC
How Performance Pressure Influences AI-Assisted Decision Making
University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
本文通过垃圾评论分类任务研究绩效压力与可解释AI如何交互影响人类对AI建议的采纳行为,发现不同压力与XAI组合会改善或恶化采纳行为,并为有效使用压力提供策略。
2025-08-21 cs.AI cs.CL cs.HC
AI Reliance and Decision Quality: Fundamentals, Interdependence, and the Effects of Interventions
University of Groningen(格罗宁根大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本文厘清并形式化了AI辅助决策中依赖行为与决策质量的关系,提出可视化框架以刻画人机互补条件,并用于解释干预措施效果,强调区分二者对研究与实践的重要性。
2025-02-04 cs.AI cs.HC
Explain To Decide: A Human-Centric Review on the Role of Explainable Artificial Intelligence in AI-assisted Decision Making
College of Computing and Informatics(计算与信息学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
该综述聚焦人机协作决策场景下可解释人工智能(XAI)的作用,梳理相关实证研究,指出当前研究对解释如何影响人机团队绩效关注不足的问题,明确挑战并提出未来研究方向。
2023-12-11 cs.HC cs.LG
Human Perceptions on Moral Responsibility of AI: A Case Study in AI-Assisted Bail Decision-Making
KAIST(韩国科学技术院);IBS(韩国基础科学研究院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Max Planck Institute for Research on Collective Goods(马克斯·普朗克集体利益研究所)
如何为自主人工智能(AI)系统的行为归属责任一直是人文和社会科学学科的广泛争论。这项工作提出了两个实验($N$ =200每个),衡量人们的看法,八种不同的概念的道德责任有关的AI和人类代理人的保释决策的背景下。使用现实生活中改编的小插曲,我们的实验表明,人工智能智能体被认为负有因果责任,并指责类似于人类代理人的相同任务。然而,人们如何看待这些代理人的道德责任存在有意义的差异;人类代理人比人工智能智能体具有更高程度的当前和前瞻性责任概念。我们还发现,人们希望人工智能和人类决策者和顾问能够证明他们的决定是正确的,而不管它们的性质如何。我们讨论了这些发现的政策和HCI影响,例如在高风险场景中需要可解释的AI。
2021-02-01 cs.AI cs.CY cs.HC
On the Fairness of Machine-Assisted Human Decisions
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
本文通过形式化模型和实验室实验研究机器辅助人类决策的公平性,发现纳入有偏见的人类决策者可能逆转算法结构与决策质量的关系,排除受保护群体信息甚至可能增加最终差异,表明公平性研究不能仅孤立关注算法预测。
2023-09-24 cs.CY cs.HC cs.LG
To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making
Harvard University(哈佛大学);Lodz University of Technology(罗兹工业大学)
由人工智能驱动的决策支持工具支持的人经常过度依赖人工智能:他们接受人工智能的建议,即使该建议是错误的。在人工智能决策中添加解释似乎并不能减少过度依赖,一些研究表明,它甚至可能会增加过度依赖。根据认知的双过程理论,我们认为,人们很少对每个人工智能建议和解释进行分析,而是对是否以及何时遵循人工智能建议进行一般性的分析。基于先前对医疗决策的研究,我们设计了三种认知强迫干预措施,以迫使人们更仔细地参与人工智能生成的解释。我们进行了一项实验(N=199),将我们的三种认知强迫设计与两种简单可解释的人工智能方法和一种无人工智能基线进行了比较。结果表明,与简单的可解释AI方法相比,认知强迫显著降低了过度依赖。然而,有一个权衡:人们给那些最能减少过度依赖的设计分配了最不有利的主观评级。为了审计我们对干预产生的不平等的工作,我们调查了我们的干预是否平等地使具有不同认知需求水平的人受益(即,积极参与有意义的心理活动)。我们的研究结果表明,平均而言,认知强迫干预使参与者在认知需求方面受益更多。我们的研究表明,人类的认知动机会调节可解释的人工智能解决方案的有效性。
2021-02-19 cs.AI cs.HC
Thinking Like a Scientist: Can Interactive Simulations Foster Critical AI Literacy?
Stanford University(斯坦福大学);University of Michigan(密歇根大学);Google Research(谷歌研究)
针对传统AI素养培养方式的不足,本研究通过605人对照实验验证,交互式模拟可有效提升多主题AI素养、促进知识迁移与学习信心,为AI素养教育的探究式方法提供支撑。
2025-06-25 cs.AI cs.HC
Novice Reliance Calibration in AI-Assisted Decision Making: The Role of Explanations and Self-Assessment
Cornell University(康奈尔大学);McMaster University(麦克马斯特大学)
本研究通过实验发现,在无外部反馈的AI辅助决策中,解释会增加新手过度依赖,而自我评估有助于校准依赖,为设计支持适当依赖的AI工具提供指导。
2026-10-07 cs.AI cs.HC
Human-Aligned Calibration for AI-Assisted Decision Making
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Department of Biosystems Science and Engineering, ETH Zurich(苏黎世联邦理工学院生物系统科学与工程系)
本文研究AI辅助决策中置信度值为何难以被人类有效利用,提出置信度应与决策者自身置信度对齐,并证明多重校准是实现对齐的充分条件,实验表明对齐可改善人类决策质量。
2024-02-23 cs.CY cs.HC cs.LG
The Impact and Feasibility of Self-Confidence Shaping for AI-Assisted Decision-Making
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院)
针对AI辅助决策中人类对AI依赖不当的问题,提出自信塑造干预方法,实验证实可提升近50%的人机团队性能,还验证了自信预测与情绪干预的可行性,为人机高效协作提供新路径。
2025-02-20 cs.CL cs.CY cs.HC
Persuasion, Delegation, and Private Information in Algorithm-Assisted Decisions
Cornell University(康奈尔大学)
本文研究算法辅助决策中的最优算法设计与授权规则,发现授权仅在委托人与代理人决策一致时最优,信息量最大的算法可能次优,且善意增加信息或保留人类参与的政策可能反而降低决策质量。
2024-02-21 cs.AI cs.CY cs.GT