Metacognition and Confidence Dynamics in Advice Taking from Generative AI
University of Waterloo(滑铁卢大学);Microsoft Research, Cambridge, United Kingdom(微软研究院剑桥分部)
本研究通过两项文本生成实验,探究人与GenAI互动中前瞻性、回顾性信心对建议寻求与依赖的影响,发现采纳GenAI建议可因果提升信心,但用户易因输出冗长忽略核查,揭示了信心在人机互动中的核心作用。
2025-10-30 cs.HC
To Rely or Not to Rely? Evaluating Interventions for Appropriate Reliance on Large Language Models
University of Toronto(多伦多大学)
针对大语言模型应用中用户过度依赖或依赖不足的问题,本研究通过400人参与的随机实验测试三种依赖干预措施,发现其虽能减少过度依赖却无法提升适度依赖水平,且用户存在错误决策后自信上升的校准问题,为人类-LLM协作的干预设计提供参考。
2025-10-29 cs.HC
Knowing About Knowing: An Illusion of Human Competence Can Hinder Appropriate Reliance on AI Systems
Delft University of Technology(代尔夫特理工大学)
人工智能系统在各种任务中增强人类能力的令人眼花缭乱的承诺取决于人类是否能够适当地依赖它们。最近的研究表明,适当的依赖是在人工智能辅助决策中实现互补团队绩效的关键。本文讨论了一个未被充分探讨的问题,即人们之间的邓宁-克鲁格效应(DKE)是否会阻碍他们对人工智能系统的适当依赖。DKE是一种元认知偏差,由于这种偏差,能力较低的个体会高估自己的技能和表现。通过一项实证研究(N = 249),我们探讨了DKE对人类依赖AI系统的影响,以及这种影响是否可以通过使用教程干预来缓解,该干预揭示了AI建议的易错性,并利用基于逻辑单元的解释来提高用户对AI建议的理解。我们发现,高估自己表现的参与者往往对人工智能系统的依赖不足,这阻碍了团队的最佳表现。基于逻辑单元的解释并没有帮助用户提高他们的能力校准或促进适当的依赖。虽然教程干预在帮助用户校准自我评估和促进高估自我评估的参与者之间的适当依赖方面非常有效,但我们发现它可能会损害低估自我评估的参与者的适当依赖。我们的工作对解决用户认知偏见的方法设计具有广泛的影响,同时促进对人工智能系统的适当依赖。我们的研究结果推进了目前对自我评估在人类人工智能决策中塑造信任和依赖的作用的理解。这为该社区的相关HCI研究提供了有前途的未来方向。
2023-01-25 cs.AI cs.CL cs.HC
A Decision Theoretic Framework for Measuring AI Reliance
本文提出基于统计决策理论的AI依赖正式定义,将依赖概率与信号区分能力分离,并构建框架以分离错误依赖和信号区分损失,指导人机互补研究。
2025-09-25 cs.AI cs.HC
People readily follow personal advice from AI but it does not improve their well-being
UK AI Security Institute(英国人工智能安全研究所);Limbic AI
研究探讨了人们是否遵循AI建议及其对幸福感的影响,发现尽管多数人遵循建议,但并未带来持续的幸福感提升。
2026-08-27 cs.HC
AI Reliance and Decision Quality: Fundamentals, Interdependence, and the Effects of Interventions
University of Groningen(格罗宁根大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本文厘清并形式化了AI辅助决策中依赖行为与决策质量的关系,提出可视化框架以刻画人机互补条件,并用于解释干预措施效果,强调区分二者对研究与实践的重要性。
2025-02-04 cs.AI cs.HC
Adjust for Trust: Mitigating Trust-Induced Inappropriate Reliance on AI Assistance
University of Southern California(美国南加州大学)
通过信任自适应干预减少AI依赖,提升决策准确性与人机协作效率
2026-01-26 cs.AI cs.CL cs.HC
Personalized to Persuade: The Effects of Contextualization and Warmth on Trust and Reliance in Conversational AI
Amsterdam University of Applied Sciences(阿姆斯特丹应用科学大学);University of Leiden(莱顿大学)
通过2x2被试间实验(N=380),研究情境化与对话温暖如何交互影响AI助手在反驳专家建议时的说服力与用户依赖,发现情境化降低说服力但与温暖结合通过交叉交互恢复,且AI素养解耦信任与行为。
2026-11-04 cs.AI cs.HC
Human-Robo-advisor collaboration in decision-making: Evidence from a multiphase mixed methods experimental study
Rochester Institute of Technology(罗切斯特理工学院);Indian Institute of Management Kozhikode(印度管理学院科泽科德分校);LUT University(拉彭兰塔-拉赫蒂理工大学)
本研究通过多阶段混合方法(含334人行为实验)探究人类与智能投顾(RA)的决策协作,发现RA性能信息、损益框架影响依赖程度,识别出3种RA角色、4类用户及2×2接受度前因类型学,为可信自适应RA设计提供依据。
2025-10-02 cs.AI cs.HC
Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition
Delft University of Technology(代尔夫特理工大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出多步透明决策工作流,通过实证(N=233)表明其在复合事实核查任务中可提升人机协作适当依赖,尤其在AI建议误导时优于单步协作,强调无通用工作流。
2025-01-19 cs.AI cs.HC
Can Large Language Models Provide Security & Privacy Advice? Measuring the Ability of LLMs to Refute Misconceptions
Purdue University(普渡大学)
该研究构建了含百余条安全隐私错误观念的数据集,通过多策略测试Bard与ChatGPT,发现二者驳斥错误观念的错误率较高,且常提供无效或无关来源URL,揭示了LLMs提供安全隐私建议的可靠性不足问题。
2023-10-03 cs.CL cs.HC
Raising the Stakes: Assessing the Influence of Stakes on User Reliance Behavior in Human-AI Decision-Making
Bielefeld University(比勒费尔德大学)
研究探讨了 stakes 提升对人类-人工智能决策依赖行为的影响,发现高 stakes 导致更长时间的决策思考,但依赖校准效果不佳,参与者在时间增加时更倾向于遵循错误的 AI 建议。
2026-05-07 cs.HC
Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);University at Buffalo(布法罗大学)
研究如何衡量学生在学术写作中对生成式人工智能的依赖,开发并验证GenAI-RTS量表,该量表含20个条目测四种依赖类型,经多源验证有良好信效度,能区分学生,为相关研究和教育干预提供工具。
2026-07-17 cs.AI cs.CL cs.CY
Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance
Stanford University(斯坦福大学);University of Southern California(南加利福尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出以交互为中心的Rel-A.I.框架,测量人类对LLM的依赖行为,发现上下文特征显著影响依赖程度,证明仅靠校准和语言质量不足以评估人机交互风险。
2024-10-03 cs.AI cs.CL cs.HC
The Impact of Imperfect XAI on Human-AI Decision-Making
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Bayreuth(拜罗伊特大学)
本文通过 136 人的混合方法用户研究,考察错误解释及其自信程度、用户专业水平对鸟类识别任务中 AI 依赖和团队绩效的影响,并提出设计指南。
2024-05-08 cs.AI cs.HC
Not All Trust is the Same: Effects of Decision Workflow and Explanations in Human-AI Decision Making
Digital Media Lab, University of Bremen(数字媒体实验室,不莱梅大学)
研究探讨了决策流程和解释对人机决策信任的影响,发现信任和依赖行为是不同构念,需分别评估。
2026-03-05 cs.AI cs.HC
Offloading Score: Measuring AI Reliance Through Counterfactual Workflows
Stanford University(斯坦福大学);University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学)
本文提出卸载分数(offloading score),一种通过构建反事实工作流量化用户向AI工具卸载认知努力比例的依赖度度量,并通过内在验证和用户实验证明其能检测时间压力下的依赖度变化。
2026-05-28 cs.CL cs.CY cs.HC
Algorithm, Expert, or Both? Evaluating the Role of Feature Selection Methods on User Preferences and Reliance
本研究通过实验比较算法、专家及两者结合三种特征选择方法,发现用户虽偏好结合方法,但实际依赖程度无差异,揭示了AI决策支持中陈述偏好与实际使用之间的显著差距。
2024-08-02 cs.HC
When the AI Leaves the Tailorshop: Measuring What an LLM Advisor Leaves Behind in Complex Problem Solving
Aalto University(阿尔托大学)
本研究通过两项预注册实验,发现LLM顾问虽提升用户信心和理解并降低努力,但撤除后仅在特定评分下提升表现,且频繁修改建议预示更好的独立能力,强调HAI评估需关注用户独立能力。
2026-10-02 cs.AI cs.HC
Think Once, Reflect Twice: How Feedback Shapes Human-AI Collaboration
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究探讨反馈对人机协作中行动后反思的影响,通过244人的行为研究发现单向反馈会降低行动中反思,平衡反馈可保留两类反思,为人机协作设计提供了见解。
2026-10-14 cs.HC
Measuring and identifying factors of individuals' trust in Large Language Models
University of Trento(特伦托大学);National University of Singapore(新加坡国立大学);University of Virginia(弗吉尼亚大学)
本文提出TILLMI框架测量个体对LLMs的信任,通过心理测量量表与因子分析验证其双因子结构,并揭示信任与人格特质及使用经验的相关性,为AI信任研究提供实证基础。
2025-03-05 cs.AI cs.HC
AI Knows Best? The Paradox of Expertise, AI-Reliance, and Performance in Educational Tutoring Decision-Making Tasks
Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学)
研究探讨AI辅助决策中专家性与AI依赖的矛盾,发现非专家更依赖AI建议而提升准确性,而专家则常忽视AI建议,导致表现差异。
2026-01-03 cs.HC
Measuring and mitigating overreliance to build human-compatible AI
本文研究了大型语言模型过度依赖的风险,探讨了测量和缓解过度依赖的方法,以确保AI能增强而非削弱人类能力。
2026-05-20 cs.AI cs.CL cs.CY
Understanding how the use of AI decision support tools affect critical thinking and over-reliance on technology by drug dispensers in Tanzania
Elsa Health Inc.(Elsa Health公司);Inspired Ideas Research Foundation(灵感创意研究基金会);Apotheker Consultancy (T) Limited(Apotheker咨询(坦桑尼亚)有限公司)
人工智能在医疗保健中的使用旨在改善医疗服务,并增强提供者的决策,以改善患者的治疗效果。当部署在临床环境中时,提供者和人工智能之间的交互是衡量和理解这些数字化工具对更广泛健康结果的有效性的关键组成部分。即使在人工智能算法具有高诊断准确性的情况下,医疗保健提供者通常仍然依赖他们的经验,有时甚至是直觉来做出最终决定。其他时候,供应商毫无疑问地依赖于人工智能模型的输出,这导致了对技术过度依赖的担忧。这项研究的目的是了解药店配药员在确定临床病例的鉴别诊断时对人工智能技术的依赖程度。我们探讨了药物分配器如何应对总是正确的技术,试图衡量他们是否开始依赖它,而没有任何自己的批判性思维。我们发现,分配器在25%的时间里依赖于AI做出的决定,即使AI没有解释它的决定。
2023-02-22 cs.AI cs.HC cs.LG
Believing vs. Achieving -- The Disconnect between Efficacy Beliefs and Collaborative Outcomes
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
研究探讨了效能信念如何影响人类在协作中的决策,发现效能信念导致系统性AI乐观,且上下文信息对AI乐观偏差有不同影响,提出设计有效协作环境的指南。
2026-03-11 cs.HC
Human Response to an AI-Based Decision Support System: A User Study on the Effects of Accuracy and Bias
University Pompeu Fabra(庞培法布拉大学);National Research Council(国家研究委员会);University of Pisa(比萨大学)
人工智能(AI)越来越多地用于在许多领域构建决策支持系统(DSS)。本文介绍了一系列的实验,旨在观察人类的反应不同的特征的DSS,如准确性和偏见,特别是在何种程度上参与者依赖的DSS,他们实现的性能。在我们的实验中,参与者玩一个简单的在线游戏,灵感来自所谓的“野猫”(即,勘探)钻探石油。景观有两层:描述成本(地形)的可见层和描述回报(石油产量)的隐藏层。对照组的参与者在没有任何帮助的情况下玩游戏,而在治疗组中,他们得到了DSS的帮助,DSS建议了钻孔的地方。对于某些处理,DSS不考虑成本,而只考虑奖励,这引入了用户可观察到的偏差。在受试者之间,我们改变DSS的准确性和偏差,并观察参与者的总分,完成时间,他们遵循或忽略建议的程度。我们亦会在离职调查中衡量直接资助计划的可接受程度。我们的研究结果表明,参与者往往得分更好的DSS,分数的增加是由于用户以下DSS的建议,并与游戏的难度和DSS的准确性。我们观察到,这种设置消除了参与者的大多数理性行为,他们对DSS有适度的信任,并且没有表现出算法厌恶(依赖不足)或自动化偏差(过度依赖)。然而,他们在离职调查中表示愿意接受决策支持系统,这似乎比他们的行为对决策支持系统的准确性不那么敏感,这表明用户仅仅部分地意识到DSS的准确性(缺乏准确性)。
2022-03-24 cs.AI cs.HC cs.LG
Automation Bias in AI-Assisted Medical Decision-Making under Time Pressure in Computational Pathology
该研究针对计算病理学中AI辅助决策的自动化偏见问题,通过28名病理专家的实验发现,AI虽提升整体表现但存在7%的偏见率,时间压力未增加偏见发生却会加重其严重程度,凸显医疗AI使用风险。
2024-11-01 cs.HC
Intelligent Reasoning Cues: A Framework and Case Study of the Roles of AI Information in Complex Decisions
Carnegie Mellon University(卡内基梅隆大学);Pomona College(普莫纳学院);University of Pittsburgh(匹兹堡大学)
本文提出智能推理提示框架,通过临床决策案例研究,探讨AI信息在复杂决策中的作用及设计优化策略。
2026-01-30 cs.AI cs.HC q-bio.OT
Take It, Leave It, or Fix It: Measuring Productivity and Trust in Human-AI Collaboration
本研究通过76名软件工程师的编程实验,发现对话式AI对生产力与信任的影响因专业水平、问题类型和测量方式而异,并揭示了自动化自满与依赖增加等现象,为改进人机协作设计提供依据。
2024-04-01 cs.HC
What Are We Measuring? Bonding, Trust, and the Evaluation of Human-Robot Relationships
Department of Computer Science, University of Warwick(华威大学计算机系)
本文指出人机交互中常将信任等同于联结是范畴错误,提出二者为独立维度并划分四种关系构型,进而阐述对感知人类状态的机器人学的四项启示,以推动重新评估人机关系质量。
2026-08-27 cs.HC