An Empirical Evaluation of Predicted Outcomes as Explanations in Human-AI Decision-Making
在这项工作中,我们在基于预测结果的解释存在的情况下,实证研究人类人工智能决策。这种类型的解释在推理时为人类决策者提供了每个决策备选方案的预期结果-其中预测结果通常以特定问题的单位(例如,以美元计的利润)。我们进行了一项试点研究,在点对点贷款的背景下,以评估提供预测的结果作为解释,以奠定研究参与者的影响。我们的初步研究结果表明,与没有提供解释或基于特征的解释的情况相比,人们对人工智能建议的依赖增加了,特别是当人工智能建议不正确时。这导致区分正确和不正确的AI建议的能力受到阻碍,最终可能会以负面的方式影响决策质量。
2022-08-30 cs.HC
With Friends Like These, Who Needs Explanations? Evaluating User Understanding of Group Recommendations
本文通过271人随机对照试验,研究群组推荐中聚合策略与解释模态对用户理解的影响,发现解释详细程度未提升理解,而聚合策略有显著影响。
2025-05-07 cs.HC
Tell Me the Good Stuff: User Preferences in Movie Recommendation Explanations
本文通过129名参与者的在线实验,比较了热门电影推荐中纯正面与含负面信息的解释风格,发现单面正面解释在信任、透明度、有效性和满意度上均更优,为低风险娱乐场景的解释设计提供了实践启示。
2025-05-06 cs.HC cs.IR
Providing Explanations for Recommendations in Reciprocal Environments
Bar-Ilan University(巴伊兰大学);Weizmann Institute of Science(魏茨曼科学研究所)
支持用户找到互利匹配的自动化平台,如在线约会和招聘网站,正变得越来越受欢迎。这些平台通常包括帮助用户找到合适匹配的推荐系统。虽然为他们的推荐提供解释的推荐系统已经显示出许多好处,但解释方法还有待于在推荐合适的匹配中进行调整和测试。在本文中,我们介绍并广泛评估使用“互惠解释”-解释提供推理,为什么双方都有望从比赛中受益。通过广泛的实证评估,在有287名人类参与者的模拟和现实世界约会平台中,我们发现,当接受推荐涉及重大成本时(例如,货币或情感),互惠解释优于仅考虑推荐接收者的标准解释方法。然而,与人们的预期相反,当接受一项建议的成本可以忽略不计时,相互解释的效果不如传统的解释方法。
2018-07-03 cs.AI cs.HC cs.IR
Experimental Interface for Multimodal and Large Language Model Based Explanations of Educational Recommender Systems
提出一种基于Web的实验工具,用于评估基于多模态和大型语言模型的教育推荐系统可解释性方法,支持模块化、交互式和可定制的解释组件,两阶段评估初步结果显示其组件接受度高且能激发学习者探索信息的动机。
2024-01-29 cs.HC
GPT as a Baseline for Recommendation Explanation Texts
Cornell University(康奈尔大学)
本文以GPT为基线研究电影推荐解释文本,发现用户对未看电影的评分无显著差异,但更认可已看电影的评论,证明LLM是生成推荐解释的有前途来源。
2023-09-16 cs.AI cs.HC
Less or More: Towards Glanceable Explanations for LLM Recommendations Using Ultra-Small Devices
Purdue University(普渡大学);Meta Reality Labs(元宇宙实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究针对超小型设备上LLM推荐解释的冗长问题,探索了结构化与时间自适应解释方法,发现结构化解释能减少用户认知负担但满意度较低,并提出了设计启示。
2025-02-26 cs.AI cs.HC
Explanations, Fairness, and Appropriate Reliance in Human-AI Decision-Making
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本研究探究基于特征的解释如何影响AI辅助决策的分配公平性,发现解释影响公平感知和依赖,但无法帮助辨别建议正确性,且可能强化或削弱刻板印象错误,表明其非可靠公平机制。
2024-03-18 cs.AI cs.HC
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University(纽卡斯尔大学)
针对社交媒体AI推荐解释通用、未对齐用户需求的问题,提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统,将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
Explanations for Temporal Recommendations
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
推荐系统是人工智能(AI)不可或缺的一部分,在人工智能商业化的时代变得越来越重要。用于推荐系统(RS)的深度学习(DL)技术为有效的推荐提供了强大的潜在特征模型,但是遭受不可解释的主要缺点。在本文中,我们描述了一个框架,可解释的时间建议在DL模型。我们考虑基于LSTM的递归神经网络(RNN)架构用于推荐,以及基于邻域的方案用于在模型中生成解释。我们通过在Netflix数据集上的实验,通过联合优化预测准确性和可解释性,证明了我们方法的有效性。
2018-07-17 cs.AI cs.HC cs.IR
Visualization for Recommendation Explainability: A Survey and New Perspectives
University of Duisburg-Essen(杜伊斯堡-埃森大学);National University of Sciences and Technology(国家科技大学)
本文从解释目标、范围、风格和格式四个维度全面综述了推荐系统中的视觉解释研究,提出了设计指导原则,并指出了未来研究方向,以助力研究者系统设计视觉解释。
2024-06-05 cs.AI cs.HC cs.IR
Logic-Scaffolding: Personalized Aspect-Instructed Recommendation Explanation Generation using LLMs
University of Pittsburgh(匹兹堡大学);AWS AI Labs(AWS AI 实验室);Amazon(亚马逊);University of California Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出Logic-Scaffolding框架,结合基于方面的解释与思维链提示,通过中间推理步骤提升大语言模型零样本推荐解释的可靠性,并展示交互式演示。
2024-01-17 cs.AI cs.CL cs.HC
LLM4Vis: Explainable Visualization Recommendation using ChatGPT
Singapore Management University(新加坡管理大学);Microsoft Research Asia(微软亚洲研究院)
提出LLM4Vis,一种基于ChatGPT的提示方法,通过少量示例实现可解释的可视化推荐,在VizML数据集上优于或媲美监督学习模型,并生成类人解释。
2023-10-16 cs.CL cs.HC
Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations
Maastricht University(马斯特里赫特大学)
本研究通过混合方法用户研究评估了可解释职位推荐系统,发现真实解释未显著提升决策速度和准确性,但利益相关者更倾向于将其视为提供健康摩擦的决策支持工具。
2024-09-24 cs.AI cs.HC
On the Relationship Between Explanations, Fairness Perceptions, and Decisions
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
众所周知,基于AI的系统的建议可能是不正确或不公平的。因此,人们常常认为人类是最终的决策者。先前的工作认为,解释是帮助人类决策者提高决策质量和减轻偏见的重要途径,即,促进人类与AI的互补性。为了实现这些好处,解释应该使人类能够适当地依赖AI建议,并在必要时推翻算法建议,以提高决策的分配公平性。然而,文献并没有提供确凿的经验证据,说明解释是否在实践中能够实现这种互补性。在这项工作中,我们(a)提供了一个概念框架,阐明解释,公平的看法,依赖和分配的公平之间的关系,(b)应用它来理解(看似)矛盾的研究结果在解释和公平的交叉点,(c)得出凝聚力的影响,制定研究问题和实验设计。
2022-05-06 cs.AI cs.HC
On Explaining Recommendations with Large Language Models: A Review
本文针对大语言模型用于生成推荐解释的方向开展系统综述,检索2022年11月至2024年11月相关文献后发现该领域研究仍处早期,梳理了现有方法与挑战并指出未来发展方向。
2025-01-17 cs.HC cs.IR
To Explain Or Not To Explain: An Empirical Investigation Of AI-Based Recommendations On Social Media Platforms
LUT University(拉彭兰塔-拉赫蒂理工大学);Norwegian University of Science and Technology(挪威科技大学)
本文以Facebook用户为对象进行定性研究,发现用户遇到陌生内容或关注数据安全时需要简洁、非技术性的推荐解释,并据此提出设计启示和综合框架。
2025-08-13 cs.AI cs.HC
Utilizing Human Behavior Modeling to Manipulate Explanations in AI-Assisted Decision Making: The Good, the Bad, and the Scary
Purdue University(普渡大学)
本文定量建模人类如何整合AI建议与解释,并利用该模型操纵AI解释以引导个体决策,实验表明人类行为易受此操纵且难以察觉异常。
2024-11-02 cs.AI cs.HC
Measuring the Impact of Explanation Bias: A Study of Natural Language Justifications for Recommender Systems
尽管解释对决策的潜在影响,但缺乏量化其对用户选择的影响的研究。本文提出了一个实验协议,测量在何种程度上,积极或消极的偏见的解释,可以导致用户选择次优的建议。该协议的关键要素包括一个偏好诱导阶段,允许个性化的建议,人工识别和提取项目方面的评论,并通过积极和消极方面的组合引入偏见的控制方法。我们研究了两种不同文本格式的解释:作为项目方面的列表和作为流畅的自然语言文本。通过一项有129名参与者的用户研究,我们证明了解释可以显着影响用户的选择,这些发现概括了解释格式。
2023-03-16 cs.HC cs.IR
Do People Engage Cognitively with AI? Impact of AI Assistance on Incidental Learning
Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院);Columbia University(哥伦比亚大学)
当人们在做出困难决定时接受建议时,他们往往会在那一刻做出更好的决定,并在这个过程中增加他们的知识。然而,这种附带学习只有在人们认知地参与他们收到的信息并深思熟虑地处理这些信息时才能发生。人们如何处理他们从人工智能那里得到的信息和建议,他们是否深入地参与其中以实现学习?为了回答这些问题,我们进行了三项实验,要求个人做出营养决策,并收到模拟的人工智能建议和解释。在第一个实验中,我们发现,当人们在做出选择之前同时得到建议和解释时,他们做出的决定比没有得到这样的帮助时更好,但他们没有学习。在第二个实验中,参与者首先做出了自己的选择,然后才看到人工智能的建议和解释;这种情况也导致了决策的改善,但没有学习。然而,在我们的第三个实验中,参与者只得到了人工智能的解释,但没有建议,他们必须自己做出决定。这种情况导致了更准确的决策和学习收益。我们假设,在这种情况下,学习的收获是由于更深入地参与了做出决定所需的解释。这项工作提供了一些迄今为止最直接的证据,表明将解释与人工智能生成的建议一起提供可能不足以确保人们仔细地使用人工智能提供的信息。这项工作还提出了一种技术,可以实现附带学习,并可以帮助人们更仔细地处理人工智能的建议和解释。
2022-02-11 cs.AI cs.HC cs.LG
Assessing the Helpfulness of Review Content for Explaining Recommendations
尽管推荐系统的算法已经成熟,很少有人知道如何获得并为用户提供一个适当的理由的建议。当提供解释时,可以增加推荐系统的透明度和有效性。特别地,可以利用从评论中识别有用的论证内容来生成文本解释。在本文中,我们调查的原因,为什么审查可能被认为是有益的,并表明,可信度和说服力的看法调解之间的关系,有益性和客观性和相关方面的看法解决。我们的研究结果使我们提出了一个基于argumentbased的方法来自动提取有用的内容从酒店评论,一个域,不同于那些最适合经典的论证理论。
2020-10-13 cs.HC cs.IR
Justification vs. Transparency: Why and How Visual Explanations in a Scientific Literature Recommender System
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文在科学文献推荐系统RIMA中,基于HCD方法和What-Why-How框架设计并实现“为什么”与“如何”两类视觉解释,通过用户研究证实解释可理解性类型的选择取决于解释目标与用户类型。
2023-05-26 cs.AI cs.HC cs.IR
User Preferences for Large Language Model versus Template-Based Explanations of Movie Recommendations: A Pilot Study
UNamur(那慕尔大学);ULB-UMONS(布鲁塞尔自由大学-蒙斯大学);UCLouvain(鲁汶大学);UMONS(蒙斯大学);Multitel-UNamur(Multitel-那慕尔大学);Multitel
本文通过25人试点研究比较电影推荐中模板解释、LLM改写解释和纯LLM解释,发现LLM解释虽方差较高,但可能更丰富、更吸引用户并符合其期望。
2024-09-10 cs.HC cs.IR cs.LG
Explaining Recommendation System Using Counterfactual Textual Explanations
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工学院))
本文提出一种同时针对表格和文本特征生成反事实解释的方法,用于提升推荐系统可解释性,并在三个真实数据集上相比基线方法在发现有效特征方面取得+5%的提升。
2023-06-01 cs.HC cs.IR cs.LG
PILAR: Personalizing Augmented Reality Interactions with LLM-based Human-Centric and Trustworthy Explanations for Daily Use Cases
University of Missouri-Columbia(密苏里大学哥伦比亚分校)
PILAR通过基于LLM的个性化解释提升AR交互的可信度和用户体验
2025-12-19 cs.AI cs.HC
Exploring The Role of Local and Global Explanations in Recommender Systems
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Northwestern University(西北大学);University of Washington & Allen Institute for Artificial Intelligence(华盛顿大学和艾伦人工智能研究所)
众所周知,推荐可以提高推荐系统的透明度。这些解释可以是局部的,解释单个推荐,或者是全局的,解释一般的推荐模型。尽管它们被广泛使用,但很少有人对这两种方法的相对好处进行调查。它们是否为用户提供了相同的好处,或者它们服务于不同的目的?我们进行了一个30名参与者的探索性研究和30名参与者的控制用户研究与研究论文推荐系统,以分析如何提供参与者本地,全球或两者兼而有之的解释影响用户对系统行为的理解。我们的研究结果提供的证据表明,这两种解释都比单独解释如何改进推荐更有帮助,但在识别假阳性和假阴性方面,这两种解释似乎都不如单独使用全局更有帮助。然而,我们注意到,这两种解释方法可能会更好地比较在一个更高的风险或更不透明的域的上下文中。
2021-09-27 cs.HC cs.IR cs.LG
Fairness and Transparency in Recommendation: The Users' Perspective
University of Colorado Boulder(科罗拉多大学博尔德分校)
虽然推荐系统是由个性化定义的,但最近的工作表明了额外的,超越准确性目标的重要性,例如公平性。由于用户通常希望他们的推荐是纯粹个性化的,这些新的算法目标必须在公平意识推荐系统中透明地传达。虽然解释在推荐系统研究中有很长的历史,但很少有工作试图解释使用公平目标的系统。尽管人工智能其他分支以前的工作已经探索了使用解释作为提高公平性的工具,但这项工作并没有集中在推荐上。在这里,我们认为公平意识推荐系统和技术,以提高其透明度的用户的观点。我们描述了一个探索性的访谈研究,调查用户的公平感,推荐系统,公平意识的目标的结果。我们提出了三个功能-通知我们的参与者的需求-可以提高用户的理解和信任的公平意识的推荐系统。
2021-03-16 cs.AI cs.HC cs.IR
Is More Always Better? The Effects of Personal Characteristics and Level of Detail on the Perception of Explanations in a Recommender System
University of Duisburg-Essen(杜伊斯堡-埃森大学);National University of Sciences and Technology(国立科技大学)
本文旨在将可解释推荐从一刀切模式转变为个性化方法,开发了提供按需个性化解释的RIMA应用,并通过N=31的用户研究探讨了个人特征与解释细节程度对推荐系统解释感知的影响,提出了针对用户情境的界面设计指南。
2023-04-03 cs.AI cs.HC cs.IR
Category Aware Explainable Conversational Recommendation
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学)
大多数会话式推荐方法要么是不可解释的,要么它们需要外部用户的知识来解释,或者由于计算限制,它们的解释不能实时的应用。在这项工作中,我们提出了一个实时的基于类别的会话式推荐方法,它可以提供简洁的解释,而不需要事先用户的知识。我们首先以项目类别偏好的形式执行一个可解释的用户模型,然后使用类别偏好来推荐项目。用户模型通过在会话上应用基于BERT的神经架构来执行。然后,我们使用前馈网络将用户模型转换为项目推荐分数。在我们的方法中,用户的偏好在对话中表示的类别向量是直接可解释的。在真实会话推荐数据集ReDial上的实验结果显示出与最先进的性能相当的性能,而我们的方法是可以解释的。我们还展示了我们的框架的潜在力量,涉及到类别偏好预测的甲骨文设置。
2021-03-15 cs.AI cs.HC cs.IR
PEAK: Explainable Privacy Assistant through Automated Knowledge Extraction
Bogazici University(海峡大学);Amazon Alexa AI(亚马逊Alexa人工智能);Utrecht University(乌得勒支大学)
本文提出PEAK隐私助手,通过潜在主题发现、解释类别识别和自动化解释生成,为隐私决策提供可理解解释,用户研究表明其解释有用易理解,并能提升隐私助手自身决策能力。
2023-05-31 cs.AI cs.CR cs.HC
Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
许多研究人员激励可解释的人工智能,研究表明,当人工智能解释其建议时,人类-人工智能团队在决策任务上的表现会有所改善。然而,之前的研究发现,只有当人工智能单独表现优于人类和最佳团队时,才能从解释中观察到改进。解释是否有助于实现互补的性能,即团队的准确性高于人类或人工智能单独工作?我们在三个数据集上进行混合方法的用户研究,其中具有与人类相当准确性的AI帮助参与者解决任务(在某些条件下解释自己)。虽然我们观察到人工智能增强的补充改进,但它们并没有通过解释而增加。相反,解释增加了人类接受AI建议的机会,无论其正确性如何。我们的研究结果为以人为中心的人工智能提出了新的挑战:我们能否开发出鼓励对人工智能适当信任的解释性方法,从而帮助产生(或提高)互补性能?
2021-01-12 cs.AI cs.CL cs.HC