From the Head or the Heart? An Experimental Design on the Impact of Explanation on Cognitive and Affective Trust
University of Michigan(密歇根大学)
自动驾驶汽车(AV)是一种社交机器人,可以为我们的社会带来潜在的好处。根据现有的文献,自动驾驶解释可以通过减少与自动驾驶的推理和行动相关的不确定性来促进乘客的信任。然而,关于AV解释和信任的文献没有考虑到信任的类型-认知与情感-可能会改变这种关系。然而,现有的文献表明,与信任相关的影响有很大的不同,这取决于它是认知还是情感。为了解决这一缺陷,更好地了解解释对信任的影响,在自动驾驶汽车,我们设计了一项研究,调查解释的有效性认知和情感的信任。我们期望这些结果在设计AV解释以促进AV信任方面具有重要意义。
2021-10-07 cs.AI cs.HC cs.RO
Exploring Effectiveness of Explanations for Appropriate Trust: Lessons from Cognitive Psychology
Delft University of Technology(代尔夫特理工大学);TNO(荷兰应用科学研究组织);Leiden University(莱顿大学)
人工智能(AI)的快速发展要求AI系统的开发人员和设计人员关注人与机器之间的协作。人工智能对系统行为和推理的解释对于有效协作至关重要,可以培养适当的信任,确保理解,并解决公平和偏见问题。然而,各种上下文和主观因素会影响AI系统解释的有效性。这项工作从认知心理学的发现中汲取灵感,以了解如何设计有效的解释。我们确定了四个组成部分,解释设计师可以特别注意:感知,语义,意图,用户和上下文。我们举例说明了这四个解释组件的使用,通过结合文本与视觉效果,概率与范例,以及与用户和上下文的意图沟通来估计食物卡路里。我们提出,有效的人工智能解释的重大挑战是使用不产生可解释解释的解释和解释沟通的算法生成解释之间的额外步骤。我们相信,仔细考虑我们工作中概述的四个解释组件将有助于这一额外步骤,这可以积极影响解释的有效性。
2022-10-05 cs.AI cs.HC
Human-centered explanation does not fit all: The interplay of sociotechnical, cognitive, and individual factors in the effect AI explanations in algorithmic decision-making
University of Pittsburgh(匹兹堡大学);Northeastern University(东北大学);Syracuse University(Syracuse大学)
本研究探讨了AI辅助决策中解释效果的影响因素,发现对比性和选择性解释的偏好受认知负荷、参与度及社会技术语境等个体与情境差异的制约,呼吁AI界面设计应适应这些差异。
2025-05-02 cs.AI cs.CY cs.HC
What Guides Our Choices? Modeling Developers' Trust and Behavioral Intentions Towards GenAI
针对生成式人工智能工具在软件开发中因信任错位、认知多样性支持不足等问题,通过调查238名开发者并构建统计模型,揭示系统质量等因素对信任的影响及认知风格与使用意向的关系,为包容性设计提供建议。
2024-12-02 cs.HC
Exploring the Impact of Explainable AI and Cognitive Capabilities on Users' Decisions
Organization(机构)
本研究探讨了在贷款场景中AI信息呈现方式与解释风格及认知需求(NFC)对用户决策的影响,发现高AI置信度与反事实解释能提升准确率并降低认知负荷,且高低NFC个体间无显著差异,强调了XAI界面需结合多样解释风格与用户特征进行个性化设计。
2025-05-02 cs.AI cs.HC
Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI)
University of Urbino ‘Carlo Bo’(乌尔比诺大学“卡洛·博”);Daraz–Alibaba Group(Daraz-阿里巴巴集团)
本文提出基于Bloom分类法的实验框架,利用反事实解释与用户反馈评估不同认知水平的理解,并相应改进解释生成方法。
2022-10-31 cs.AI cs.HC
Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study
University of Würzburg(维尔茨堡大学)
本文通过271名准医生的COVID-19用例实证研究,发现不同XAI解释类型显著影响终端用户的认知负荷、任务表现和时间,并基于心理效率指标推荐局部解释类型为最佳。
2023-04-18 cs.AI cs.HC
The Role of Explanation Styles and Perceived Accuracy on Decision Making in Predictive Process Monitoring
Utrecht University(乌得勒支大学)
本研究通过决策实验探究预测性流程监控中解释风格与感知AI准确性对用户决策的影响,发现两者均显著影响任务绩效、一致性和决策置信度。
2025-06-19 cs.AI cs.HC
See What I Mean? CUE: A Cognitive Model of Understanding Explanations
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林技术大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Centre of eXplainable Artificial Intelligence, Technological University Dublin(可解释人工智能中心,都柏林技术大学)
本文提出CUE认知模型,将解释属性分解为可辨识性、可读性和可解释性,并通过N=455实验证明视障用户的理解差距未被可及性颜色映射缩小,从而支持自适应XAI界面的必要性。
2025-09-22 cs.AI cs.HC cs.LG
Exploring the Interaction of Explanation Styles, Context, and Trust of AI Privacy Redaction in AI-mediated Interactions
Fujitsu Research of America(富士通美国研究院);Carnegie Mellon University(卡内基梅隆大学)
研究人工智能介导通信中隐私编辑解释对用户信任的影响,设计场景并开展用户研究,发现提供解释能提升信任,上下文因素有影响,解释偏好因个体差异而异,强调平衡透明度与隐私及适应性解释对设计可信AI系统的重要性。
2026-07-09 cs.HC
Exploring Users' Perception of Collaborative Explanation Styles
协同过滤系统在很大程度上依赖于用户的反馈表示的产品评级选择和排名项目推荐。在这项研究中,我们探讨了用户如何价值不同的合作解释风格的用户为基础的或项目为基础的范式。此外,我们探讨这些评级总结的特点,如总评分和平均评分值,影响在线用户的决定。结果,基于选择为基础的联合实验设计,表明平均指标有较高的影响相比,总的收视率。最后,我们讨论了这些实证结果可以作为一个输入开发算法,培养项目,因此,更高的概率选择的基础上,他们的评级总结或他们的解释,由于这些评级时排名建议。
2018-05-02 cs.HC cs.IR
Understanding Consumer Preferences for Explanations Generated by XAI Algorithms
在面向客户的应用程序中解释算法做出的公司决策越来越受到监管机构的要求和客户的期望。虽然新兴的可解释人工智能(XAI)领域主要集中于开发生成这种解释的算法,但尚未充分考虑客户对各种类型和格式的解释的偏好。我们从理论上讨论和实证研究人们的偏好解释算法的决定。我们专注于描述现有XAI算法自动生成的解释的三个主要属性(格式,复杂性和特异性),并捕捉上下文(在线定向广告与贷款申请)之间的差异以及用户认知风格的异质性。尽管它们在学术界很受欢迎,但我们发现反事实解释在用户中并不受欢迎,除非它们遵循负面结果(例如,贷款申请被拒)。我们还发现,用户愿意容忍一些复杂的解释。最后,我们的研究结果表明,具体的(与更抽象的)解释的偏好是相关的,在该决定是由用户解释的水平,并慎重的用户的认知风格。
2021-07-06 cs.HC
Can LLM Code Explanations Adapt to Diverse Problem-Solvers' Needs?
IBM Research(IBM研究);Alinia AI(Alinia人工智能);Oregon State University(俄勒冈州立大学)
研究LLM代码解释能否适应不同问题解决者需求,基于包容性设计方法开发提示,用自然语言处理技术从六个LLM生成代码解释,发现13种语言适应分类法,贡献两种问题解决适应方法。
2026-07-21 cs.HC cs.SE
Effects of interactivity and presentation on review-based explanations for recommendations
用户评论已经成为推荐和解释产品或服务的重要来源。特别地,基于用户评论提供解释可以改善用户对推荐系统(RS)的感知。然而,很少有人知道如何审查为基础的解释,可以有效地和高效地呈现给用户的RS。我们调查的潜力,互动的解释在评论为基础的RS领域的酒店,并提出了一个解释方案的启发对话模型和正式的论点结构。此外,我们还解决了交互性和不同的演示风格(即只使用文本,条形图或表格)的综合效果,以及不同的用户特征可能对用户的感知系统及其解释的影响。为此,我们使用矩阵分解解释方法实现了基于评论的RS,并进行了用户研究。我们的研究结果表明,提供更多的交互式解释在基于评论的RS有一个显着的积极影响的解释质量,有效性和信任的感知系统的用户,用户的特征,如理性的决策风格和社会意识也有显着的影响,这种看法。
2021-09-03 cs.HC
Contextualizing Recommendation Explanations with LLMs: A User Study
本文通过在线实验和访谈研究LLM生成的电影推荐解释,发现融入用户过去行为的情境化解释能有效满足认知需求并提高观看意图,但对实用和情感需求收益有限,为以用户为中心的推荐系统设计提供启示。
2025-08-19 cs.HC
Effects of Multimodal Explanations for Autonomous Driving on Driving Performance, Cognitive Load, Expertise, Confidence, and Trust
University of California - San Diego(加利福尼亚大学圣迭戈分校);Toyota Research Institute(丰田研究所)
本研究通过前后测实验探究AI教练解释的信息类型与呈现模态对新手驾驶学习的影响,发现模态适当的高效解释能提升驾驶表现并降低认知负荷,并提出八项HMI设计启示。
2024-06-13 cs.AI cs.HC cs.RO
Is Ignorance Bliss? The Role of Post Hoc Explanation Faithfulness and Alignment in Model Trust in Laypeople and Domain Experts
本文通过面向计算机科学学生与医生的用户研究,发现普通人依据解释忠实性、领域专家依据解释一致性建立模型信任,并揭示专家因专业知识产生的认知偏差。
2023-12-12 cs.HC
The Power of Perception in Human-AI Interaction: Investigating Psychological Factors and Cognitive Biases that Shape User Belief and Behavior
本研究通过两项涉及238名参与者的实验,探究了影响用户对AI预测信任的心理因素,揭示了“理性迷信”现象及预测效价对用户感知的强烈影响,为开发能管理用户期望与平衡信任的AI系统提供了见解。
2024-09-06 cs.HC
People Attribute Purpose to Autonomous Vehicles When Explaining Their Behavior: Insights from Cognitive Science for Explainable AI
University of Edinburgh(爱丁堡大学)
本文基于认知科学提出解释模式框架,通过自动驾驶场景实验构建HEADD数据集,发现目的论解释质量显著优于反事实解释,为XAI设计提供了实证依据。
2025-02-03 cs.AI cs.HC cs.RO
To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making
Harvard University(哈佛大学);Lodz University of Technology(罗兹工业大学)
由人工智能驱动的决策支持工具支持的人经常过度依赖人工智能:他们接受人工智能的建议,即使该建议是错误的。在人工智能决策中添加解释似乎并不能减少过度依赖,一些研究表明,它甚至可能会增加过度依赖。根据认知的双过程理论,我们认为,人们很少对每个人工智能建议和解释进行分析,而是对是否以及何时遵循人工智能建议进行一般性的分析。基于先前对医疗决策的研究,我们设计了三种认知强迫干预措施,以迫使人们更仔细地参与人工智能生成的解释。我们进行了一项实验(N=199),将我们的三种认知强迫设计与两种简单可解释的人工智能方法和一种无人工智能基线进行了比较。结果表明,与简单的可解释AI方法相比,认知强迫显著降低了过度依赖。然而,有一个权衡:人们给那些最能减少过度依赖的设计分配了最不有利的主观评级。为了审计我们对干预产生的不平等的工作,我们调查了我们的干预是否平等地使具有不同认知需求水平的人受益(即,积极参与有意义的心理活动)。我们的研究结果表明,平均而言,认知强迫干预使参与者在认知需求方面受益更多。我们的研究表明,人类的认知动机会调节可解释的人工智能解决方案的有效性。
2021-02-19 cs.AI cs.HC
Communication styles and reader preferences of LLM- and human-authored COVID-19 information explanations: a case study
School of Interactive Computing, Georgia Institute of Technology(交互计算学院,佐治亚理工学院);Amazon(亚马逊);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(Siebel计算与数据科学学院,伊利诺伊大学厄巴纳-香槟分校)
本研究以健康事实核查为场景,对比LLM与人类新冠信息解释的沟通风格,发现LLM内容在说服性等质量指标上较弱但受读者偏好,揭示LLM在健康领域的潜力与局限。
2026-08-28 cs.AI cs.HC
Emotion-sensitive Explanation Model
针对情绪因素会影响用户对XAI解释的理解这一问题,提出情绪敏感解释的三阶段模型,为开发适配用户情绪的动态解释XAI系统提供概念基础,助力更有效的以用户为中心的决策。
2025-05-21 cs.HC
Thinking Less, Trusting More: GenAI's Impacts on Students' Cognitive Habits
Oregon State University(俄勒冈州立大学)
研究探讨生成式AI对学生在STEM课程中的认知习惯影响,发现高技术动机学生更易出现认知脱节,提示需改进课程与AI系统设计以促进认知参与。
2026-04-10 cs.HC
No Two Developers Think Alike: How Problem-Solving Styles and Experience Shape Needs in Conversational Interaction with Copilot
Radboud University Nijmegen(拉德堡德大学);Federal University of Technology – Paraná Campo Mourão(巴拉那联邦技术大学 - 卡莫阿乌校区);Microsoft(微软)
通过混合方法出声思考研究,识别出5种交互模式和10种需求,并建立概念模型,揭示认知多样性如何影响开发者与GitHub Copilot的交互。
2026-06-18 cs.HC cs.SE
Explaining Models: An Empirical Study of How Explanations Impact Fairness Judgment
确保机器学习系统的公平性是一个人在回路的过程。它依赖于开发人员、用户和公众来识别公平性问题并进行改进。为了促进这一过程,我们需要有效、公正和用户友好的解释,让人们可以自信地依赖。为此,我们进行了一项实证研究,其中包括四种编程生成的解释,以了解它们如何影响人们对ML系统的公平性判断。通过一项涉及160多名土耳其机器人工人的实验,我们发现:1)某些解释被认为是天生不公平的,而其他解释可以增强人们对算法公平性的信心; 2)不同的公平性问题-例如模型范围内的公平性问题与特定情况下的公平性差异-可以通过不同风格的解释更有效地暴露出来; 3)个体差异,包括先前的立场和算法公平性的判断标准,影响人们对不同风格解释的反应。最后,我们讨论了如何提供个性化和自适应的解释来支持ML系统的公平性判断。
2019-01-23 cs.CY cs.HC
Position: AI as Part of Self -- Extending the Mind Requires Cognitive Co-Regulation
Kazakh-British Technical University(哈萨克-英国技术大学);University College London(伦敦大学学院)
本文探讨了AI作为自我组成部分的重要性,强调认知共调节在人机认知系统中的必要性,指出传统约束无法实现安全与对齐,需通过人机协同调节来达成。
2026-05-15 cs.HC
'It's Reducing a Human Being to a Percentage'; Perceptions of Justice in Algorithmic Decisions
对个人产生影响的数据驱动决策提出了问责和公正的重要问题。事实上,欧洲法律为个人提供了有限的权利,以了解贷款审批、保险报价和简历过滤等重大自主决策背后的“有关逻辑的有意义信息”。我们进行了三项实验研究,研究人们在不同场景和解释风格下对算法决策的正义感。以前在人类决策中观察到的正义维度似乎也同样参与了算法决策。定性分析确定了几个问题,并参与司法观念,包括任意性,概括性,(在)尊严。定量分析表明,只有当被试暴露于多种不同的风格时,解释风格才主要影响公正知觉-在重复暴露一种风格的情况下,情景效应掩盖了任何解释效应。我们的研究结果表明,可能没有“最好”的方法来解释算法决策,并且对其自动化性质的反思既涉及又减轻了正义维度。
2018-01-31 cs.CY cs.HC
Explainable agency: human preferences for simple or complex explanations
本研究提出一种抽象因果推理链的解释模型,通过在线实验发现,人们对解释的满意度取决于因果关系的连贯性,而非简单或复杂的偏好,关键在于情境中相关的因果信息类型。
2024-03-18 cs.HC
Towards an Explanation Space to Align Humans and Explainable-AI Teamwork
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Montreal University (Polytechnic)(蒙特利尔大学(理工学院))
为最终用户提供有意义和可操作的解释是在现实世界中实现可解释智能系统的基本前提。可解释性是用户和AI系统之间的一种情境交互,而不是静态的设计原则。解释的内容是依赖于上下文的,必须由关于用户及其上下文的证据来定义。本文旨在通过提出一个形成性的架构,从用户的角度定义的解释空间,这一概念的可操作性。该体系结构包括五个相互交织的组件,以概述任务的解释要求:(1)最终用户的心理模型,(2)最终用户的认知过程,(3)用户界面,(4)人类解释者代理,和(5)代理过程。我们首先定义架构的每个组件。然后,我们提出了抽象的解释空间,一个建模工具,聚合架构的组件,以支持设计师系统地调整解释与最终用户的工作实践,需求和目标。它指导了需要解释的内容(内容-最终用户的心理模型)的规范,为什么这种解释是必要的(上下文-最终用户的认知过程),以界定如何解释它(格式-人类解释器代理和用户界面),以及何时应该给出解释。然后,我们将该工具的使用在一个正在进行的案例研究,在飞机维修领域。最后,我们讨论了该工具可能的贡献,已知的局限性/改进领域,以及未来要做的工作。
2021-06-02 cs.AI cs.HC
Not All Explanations Are Sought: Information-Seeking Psychology for Human-Centered XAI
CNR-ISTI(意大利国家研究委员会信息科学与技术研究所)
该立场论文提出HCXAI应结合信息寻求心理学,分析其三类预期效用及相关认知偏差的两种失效模式,针对智能体AI系统的挑战,倡导设计让解释被用户主动寻求的HCXAI系统。
2026-08-31 cs.AI cs.HC
Gradual Cognitive Externalization: From Modeling Cognition to Constituting It
本文提出渐进性认知外化框架,探讨环境AI系统如何通过持续因果耦合,从建模认知功能过渡到构成用户认知架构,并提出五个可检验的预测。
2026-04-07 cs.AI cs.CY cs.ET
Improving understanding and trust in AI: How users benefit from interval-based counterfactual explanations
Department of Bioengineering, Imperial College London(伦敦帝国理工学院生物工程系);Institute of Artificial and Human Intelligence, University of Bayreuth(拜罗伊特大学人工智能与人类智能研究所)
本研究通过实验评估不同后验解释类型对模型理解及信任的影响,发现区间解释在提升理解和信任方面优于其他类型。
2026-02-22 cs.HC cs.LG
On Cognitive Preferences and the Plausibility of Rule-based Models
TU Darmstadt(达姆施塔特工业大学);University of Economics, Prague(布拉格经济大学);University of Mannheim(曼海姆大学)
机器学习和数据采掘中的传统智慧是,诸如规则集的逻辑模型比其他模型更可解释,并且在这种基于规则的模型中,较简单的模型比较复杂的模型更可解释。在这份立场文件中,我们通过关注可解释性的一个特定方面,即模型的可解释性,来质疑后一种假设。粗略地说,我们将模型的可解释性等同于用户接受它作为预测解释的可能性。特别是,我们认为,在所有其他条件相同的情况下,较长的解释可能比较短的解释更有说服力,并且对较短模型的主要偏见(这通常是学习强大的判别模型所必需的)可能不适合用户接受学习的模型。为此,我们首先概括了支持和反对这一假设的证据,然后报告了基于大约3000个判断的众包研究的评估结果。结果并没有显示出强烈的偏好简单的规则,而我们可以观察到较长的规则在某些领域的弱偏好。然后,我们将这些结果与众所周知的认知偏见,如连接谬误,代表性的启发式,或recogition启发式,并调查它们的关系,规则长度和可扩展性。
2019-04-22 cs.AI cs.HC cs.LG
Incremental XAI: Memorable Understanding of AI with Incremental Explanations
University of Toronto(多伦多大学);National University of Singapore(新加坡国立大学)
针对现有XAI解释要么全局不准确要么局部差异大的问题,提出Incremental XAI框架,以基础+增量因子划分通用与非典型实例解释,经用户研究验证其在保真度、可记忆性和可理解性上更优,助力用户更好理解AI。
2024-04-10 cs.AI cs.HC
Human-Centered Explainability in AI-Enhanced UI Security Interfaces: Designing Trustworthy Copilots for Cybersecurity Analysts
Palo Alto Networks(帕洛阿尔托网络公司)
本文提出了一种面向AI增强用户界面安全性的以人为本的可解释性方法,通过设计可信的copilot,提升网络安全分析师对AI输出的信任和决策准确性。
2026-01-30 cs.AI cs.CR cs.HC
fCrit: A Visual Explanation System for Furniture Design Creative Support
Concordia University(康科德大学)
本文提出对话式AI系统fCrit,通过多智能体架构和结构化设计知识库为家具设计提供可解释批评,并根据用户的设计语言与认知框架定制解释,推动创意实践中以人为中心的可解释AI发展。
2025-08-17 cs.AI cs.HC
Deciding Fast and Slow: The Role of Cognitive Biases in AI-assisted Decision-making
Carnegie Mellon University(卡内基梅隆大学);Twitter(推特);IBM Research(IBM研究院);Onfido
几项研究旨在弥合人工智能(AI)和人类决策者在AI辅助决策方面的差距,人类是AI模型预测的消费者,也是高风险应用程序的最终决策者。然而,人们的感知和理解往往被他们的认知偏差所扭曲,如确认偏差、锚定偏差、可用性偏差等。在这项工作中,我们使用认知科学领域的知识来解释人类-人工智能协作决策环境中的认知偏见,并减轻其对协作绩效的负面影响。为此,我们对认知偏差进行了数学建模,并提供了一个通用框架,通过该框架,研究人员和从业者可以了解认知偏差与人类-AI准确性之间的相互作用。然后,我们特别关注锚定偏差,这是人类与人工智能合作中常见的偏差。我们实施了一种基于时间的去锚策略,并进行了第一次用户实验,以验证其在人类-人工智能协作决策中的有效性。有了这个结果,我们为资源受限的环境设计了一个时间分配策略,在一些假设下实现了最佳的人类-AI协作。然后,我们进行了第二次用户实验,结果表明,我们的时间分配策略与解释可以有效地脱锚人类和提高协作性能时,人工智能模型具有低置信度,是不正确的。
2022-04-04 cs.HC cs.LG
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University(纽卡斯尔大学)
针对社交媒体AI推荐解释通用、未对齐用户需求的问题,提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统,将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG