AI Reliance and Decision Quality: Fundamentals, Interdependence, and the Effects of Interventions
University of Groningen(格罗宁根大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本文厘清并形式化了AI辅助决策中依赖行为与决策质量的关系,提出可视化框架以刻画人机互补条件,并用于解释干预措施效果,强调区分二者对研究与实践的重要性。
2025-02-04 cs.AI cs.HC
Available but Unclaimed: An Empirical Study of Human-AI Synergy
Aalto University(阿尔托大学);University of Innsbruck(因斯布鲁克大学);Humboldt-Universität zu Berlin(柏林洪堡大学);Ludwig-Maximilians-Universität München(慕尼黑大学)
本研究通过大规模被试实验发现,人机协同中LLM能力提升仅部分转化为用户表现,且遵从度随能力变化,呼吁设计支持选择性弃权以保留独立推理。
2026-09-16 cs.AI cs.HC
Automation Bias in AI-Assisted Medical Decision-Making under Time Pressure in Computational Pathology
该研究针对计算病理学中AI辅助决策的自动化偏见问题,通过28名病理专家的实验发现,AI虽提升整体表现但存在7%的偏见率,时间压力未增加偏见发生却会加重其严重程度,凸显医疗AI使用风险。
2024-11-01 cs.HC
Should you use LLMs to simulate opinions? Quality checks for early-stage deliberation
McCombs School of Business, University of Texas at Austin(德克萨斯大学奥斯汀分校麦库姆斯商学院);Universitat Ramon Llull, ESADE(拉蒙鲁尔大学埃萨德商学院);Department of Philosophy and Computer Science, Northeastern University(东北大学哲学与计算机科学系)
针对LLM模拟人类观点可靠性存疑、现有评估成本高的问题,提出含两项测试的低成本质量评估方案,在内容审核类任务中评估7款LLM发现均未通过测试,同时发布TopicMisinfo基准数据集。
2025-11-13 cs.CY cs.HC
Not All Trust is the Same: Effects of Decision Workflow and Explanations in Human-AI Decision Making
Digital Media Lab, University of Bremen(数字媒体实验室,不莱梅大学)
研究探讨了决策流程和解释对人机决策信任的影响,发现信任和依赖行为是不同构念,需分别评估。
2026-03-05 cs.AI cs.HC
Who Goes First? Influences of Human-AI Workflow on Decision Making in Clinical Imaging
Carnegie Mellon University(卡内基梅隆大学);University of Virginia(弗吉尼亚大学);Stanford University(斯坦福大学);Mars Digital Technologies(玛氏数字技术公司);Antech Imaging Services(安泰克影像服务公司);Microsoft Research(微软研究院)
在人工智能技术的实际应用中,必须考虑支持人类与人工智能协作的设计和机制的细节。人工智能辅助人类决策的交互设计的一个关键方面是在更大的决策工作流中显示和排序人工智能推理的策略。我们对人工智能推理在人类审查手头的诊断任务之前和之后的影响了解甚少。我们探讨了在放射科诊断会议开始时提供AI帮助与放射科医生做出临时决定后的效果。我们进行了一项用户研究,其中19名兽医放射科医生在AI工具的帮助下识别了患者X射线图像中存在的放射学发现。我们采用了两种工作流程配置来分析(i)锚定效应,(ii)人类-AI团队诊断性能和一致性,(iii)决策所花费的时间和信心,以及(iv)AI的感知有用性。我们发现,被要求在审查AI推理之前注册临时响应的参与者不太可能同意AI,无论建议是否准确,并且在与AI不一致的情况下,不太可能寻求同事的第二意见。这些参与者还报告说,人工智能的建议不太有用。令人惊讶的是,要求在显示AI推理之前对案件做出临时决定并没有延长参与者在任务上花费的时间。该研究为临床AI工具在人在环系统中的部署提供了可推广和可操作的见解,并介绍了一种研究人类-AI协作替代设计的方法。我们将我们的实验平台作为开源提供,以促进未来关于替代设计对人类-AI工作流程影响的研究。
2022-05-19 cs.AI cs.HC
An Approach to Investigate Public Opinion, Views, and Perspectives Towards Exoskeleton Technology
University of Cincinnati(辛辛那提大学)
在过去的十年中,外骨骼对不同的学科和应用领域产生了广泛的影响,例如辅助生活,军事,医疗保健,消防和工业,因为它们具有多种多样的动态功能,可以以多种方式增强人类的能力,耐力,潜力和表现。鉴于外骨骼的这种广泛适用性和用例,调查和分析公众对外骨骼的意见、观点和观点至关重要,这将有助于解释基本的人机、人机和人机技术交互的有效性。今天生活的万物互联时代,其特征是人们在互联网上花费的时间比以往任何时候都多,通过挖掘和分析相关的网络行为,特别是社交媒体,可以解释为了解公众意见,观点和观点,对一个主题或一组主题进行调查。因此,本文的目的是解决这个研究挑战相关的外骨骼,利用潜力的Web行为为基础的大数据采掘在现代互联网的一切时代。由于Twitter是全球范围内最受欢迎的社交媒体平台之一-其特征在于用户数量和用户在平台上花费的时间量-这项工作专注于调查Twitter上的网络行为,以解释公众舆论,观点和对外骨骼技术的看法。总共大约20,000条与外骨骼相关的推文被用来评估所提出的方法的有效性。提出和讨论的结果支持所提出的方法的有效性,以解释和分析公众的意见,观点和观点,从相关的推文外骨骼。
2022-04-27 cs.HC cs.LG cs.RO
Knowing About Knowing: An Illusion of Human Competence Can Hinder Appropriate Reliance on AI Systems
Delft University of Technology(代尔夫特理工大学)
人工智能系统在各种任务中增强人类能力的令人眼花缭乱的承诺取决于人类是否能够适当地依赖它们。最近的研究表明,适当的依赖是在人工智能辅助决策中实现互补团队绩效的关键。本文讨论了一个未被充分探讨的问题,即人们之间的邓宁-克鲁格效应(DKE)是否会阻碍他们对人工智能系统的适当依赖。DKE是一种元认知偏差,由于这种偏差,能力较低的个体会高估自己的技能和表现。通过一项实证研究(N = 249),我们探讨了DKE对人类依赖AI系统的影响,以及这种影响是否可以通过使用教程干预来缓解,该干预揭示了AI建议的易错性,并利用基于逻辑单元的解释来提高用户对AI建议的理解。我们发现,高估自己表现的参与者往往对人工智能系统的依赖不足,这阻碍了团队的最佳表现。基于逻辑单元的解释并没有帮助用户提高他们的能力校准或促进适当的依赖。虽然教程干预在帮助用户校准自我评估和促进高估自我评估的参与者之间的适当依赖方面非常有效,但我们发现它可能会损害低估自我评估的参与者的适当依赖。我们的工作对解决用户认知偏见的方法设计具有广泛的影响,同时促进对人工智能系统的适当依赖。我们的研究结果推进了目前对自我评估在人类人工智能决策中塑造信任和依赖的作用的理解。这为该社区的相关HCI研究提供了有前途的未来方向。
2023-01-25 cs.AI cs.CL cs.HC
Adjust for Trust: Mitigating Trust-Induced Inappropriate Reliance on AI Assistance
University of Southern California(美国南加州大学)
通过信任自适应干预减少AI依赖,提升决策准确性与人机协作效率
2026-01-26 cs.AI cs.CL cs.HC
Can Humans Detect AI? Mining Textual Signals of AI-Assisted Writing Under Varying Scrutiny Conditions
Georgia Institute of Technology(佐治亚理工学院)
研究探讨AI检测威胁如何影响人类写作方式及他人能否区分AI与人类写作,实验显示受警示组在文本评估中更常被判定为人类写作,但文本特征无差异。
2026-04-25 cs.CL cs.HC
Align When They Want, Complement When They Need! Human-Centered Ensembles for Adaptive Human-AI Collaboration
本文提出了一种人本适应性AI集成,通过上下文提示在对齐与互补模型间切换,以提升人机协作的性能与信任。
2026-02-23 cs.AI cs.HC cs.LG
Don't be Fooled: The Misinformation Effect of Explanations in Human-AI Collaboration
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学);University of Bayreuth(拜罗伊特大学)
本文通过 n=160 的 AI 辅助决策实验发现,正确建议搭配错误解释会诱发错误信息效应,损害协作绩效及协作后的推理与程序性知识。
2025-01-08 cs.AI cs.HC
Intelligent Reasoning Cues: A Framework and Case Study of the Roles of AI Information in Complex Decisions
Carnegie Mellon University(卡内基梅隆大学);Pomona College(普莫纳学院);University of Pittsburgh(匹兹堡大学)
本文提出智能推理提示框架,通过临床决策案例研究,探讨AI信息在复杂决策中的作用及设计优化策略。
2026-01-30 cs.AI cs.HC q-bio.OT
AI Knows Best? The Paradox of Expertise, AI-Reliance, and Performance in Educational Tutoring Decision-Making Tasks
Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学)
研究探讨AI辅助决策中专家性与AI依赖的矛盾,发现非专家更依赖AI建议而提升准确性,而专家则常忽视AI建议,导致表现差异。
2026-01-03 cs.HC
When Two Wrongs Don't Make a Right" -- Examining Confirmation Bias and the Role of Time Pressure During Human-AI Collaboration in Computational Pathology
本研究针对计算病理学人机协作中的证实偏差问题,通过病理专家实验发现AI会加剧错误证实引发的证实偏差,而时间压力会削弱该效应,为临床AI系统安全整合提供参考。
2024-11-01 cs.HC
Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition
Delft University of Technology(代尔夫特理工大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出多步透明决策工作流,通过实证(N=233)表明其在复合事实核查任务中可提升人机协作适当依赖,尤其在AI建议误导时优于单步协作,强调无通用工作流。
2025-01-19 cs.AI cs.HC
Human Response to an AI-Based Decision Support System: A User Study on the Effects of Accuracy and Bias
University Pompeu Fabra(庞培法布拉大学);National Research Council(国家研究委员会);University of Pisa(比萨大学)
人工智能(AI)越来越多地用于在许多领域构建决策支持系统(DSS)。本文介绍了一系列的实验,旨在观察人类的反应不同的特征的DSS,如准确性和偏见,特别是在何种程度上参与者依赖的DSS,他们实现的性能。在我们的实验中,参与者玩一个简单的在线游戏,灵感来自所谓的“野猫”(即,勘探)钻探石油。景观有两层:描述成本(地形)的可见层和描述回报(石油产量)的隐藏层。对照组的参与者在没有任何帮助的情况下玩游戏,而在治疗组中,他们得到了DSS的帮助,DSS建议了钻孔的地方。对于某些处理,DSS不考虑成本,而只考虑奖励,这引入了用户可观察到的偏差。在受试者之间,我们改变DSS的准确性和偏差,并观察参与者的总分,完成时间,他们遵循或忽略建议的程度。我们亦会在离职调查中衡量直接资助计划的可接受程度。我们的研究结果表明,参与者往往得分更好的DSS,分数的增加是由于用户以下DSS的建议,并与游戏的难度和DSS的准确性。我们观察到,这种设置消除了参与者的大多数理性行为,他们对DSS有适度的信任,并且没有表现出算法厌恶(依赖不足)或自动化偏差(过度依赖)。然而,他们在离职调查中表示愿意接受决策支持系统,这似乎比他们的行为对决策支持系统的准确性不那么敏感,这表明用户仅仅部分地意识到DSS的准确性(缺乏准确性)。
2022-03-24 cs.AI cs.HC cs.LG