Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学文学与文化研究系)
本文通过对比选择和投影方法,发现有针对性的组件选择在LLM训练数据解释中更有效且计算更高效。
2026-07-31 cs.CL
Evaluating Evidence Attribution in Generated Fact Checking Explanations
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对自动化事实核查解释的可信度问题,本研究探索证据归因,提出“引文掩码与恢复”评估协议,通过人类与LLM标注验证其可自动化,并发现最佳LLM仍存在归因不准确问题,人工证据对优质解释至关重要。
2025-02-11 cs.AI cs.CL
"Is ChatGPT a Better Explainer than My Professor?": Evaluating the Explanation Capabilities of LLMs in Conversation Compared to a Human Baseline
Barnard College(巴纳德学院);Columbia University(哥伦比亚大学)
本研究利用5-Levels数据集和解释行为框架,评估GPT4在对话解释任务中的表现,比较人类解释者、GPT4标准回应及带解释动作的GPT4回应三种策略,以探究LLMs增强专家解释能力的潜力。
2024-06-26 cs.CL
Cross-Examiner: Evaluating Consistency of Large Language Model-Generated Explanations
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文提出Cross-Examiner方法,结合符号信息提取与语言模型生成后续问题,以评估大语言模型解释的一致性,生成的问题质量更高且更多样化。
2025-03-11 cs.AI cs.CL
Digital Socrates: Evaluating LLMs through Explanation Critiques
Allen Institute for AI(艾伦人工智能研究所)
针对大语言模型解释质量难以评估的问题,研究提出解释批判新任务,构建人工验证数据集,训练出开源自动批判模型Digital Socrates,可无需高价API和人工标注,自动精细评估模型解释能力,填补了相关评估工具空白。
2024-08-11 cs.AI cs.CL
Evaluating GPT-3 Generated Explanations for Hateful Content Moderation
Singapore University of Technology and Design(新加坡科技设计大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本研究提出分析框架,通过2,400名受访者调查评估GPT-3生成的仇恨言论解释,发现其虽高质量但说服力可能导致内容审核错误判断,强调需谨慎应用。
2023-08-30 cs.AI cs.CL
SynClaimEval: A Framework for Evaluating the Utility of Synthetic Data in Long-Context Claim Verification
University of Pittsburgh(匹兹堡大学);Zillow Inc.(Zillow公司)
该研究针对长上下文主张验证中合成数据效用评估的需求,提出SynClaimEval框架,从输入特征、合成逻辑和解释质量三方面评估,实验证明其能提升模型验证性能和解释质量,为相关任务提供可扩展数据方案。
2025-11-12 cs.CL
Investigating Training and Generalization in Faithful Self-Explanations of Large Language Models
The University of Tokyo(东京大学);Riken(理化学研究所);Tohoku University(东北大学);NII LLMC(日本信息处理学会大语言模型委员会)
本研究通过训练提升大语言模型的自解释忠实性,并验证其在不同任务和风格中的泛化能力。
2025-12-08 cs.CL
Grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations
Virginia Tech(弗吉尼亚理工学院)
本文研究了AI生成的安全解释中语义对齐的问题,通过VEXA测试平台验证了词汇基础与语义风险对齐之间的差距,发现即使解释在词汇上显得合理,其语义解释可能削弱检测器的意图风险评估。
2026-06-03 cs.CL cs.CR cs.LG
From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Lund University(吕勒奥大学);University of Tübingen(图宾根大学);Stanford Graduate School of Education(斯坦福大学教育研究生院);Harvard Graduate School of Education(哈佛大学教育研究生院)
提出一个结合SHAP和LLM理由的框架,用于基于量规的评分模型的可解释性,并在课堂转录数据上评估其忠实性和可迁移性。
2026-04-18 cs.AI cs.CL
Enhancing Assessment of Self-Consistency in LLM Explanations using Perturbation Strength
The University of Melbourne(墨尔本大学);University of New South Wales(新南威尔士大学)
提出基于LLM评判者的扰动强度测量方法,统一评估输入与思维链扰动下的解释自一致性,发现输入扰动影响更强,且自一致性判断仅在同类扰动内公平。
2026-11-10 cs.CL
Evaluating Causal Explanation in Medical Reports with LLM-Based and Human-Aligned Metrics
Department of Medical Engineering, Konyang University(康山大学医学工程系);Department of Artificial Intelligence, Konyang University(康山大学人工智能系)
本研究比较了六种指标在评估自动生成诊断报告中因果解释质量的表现,发现 GPT-Black 和 GPT-White 与专家评估高度一致,优于相似度指标,支持基于 LLM 的评估用于因果推理任务。
2025-06-23 cs.AI cs.CL
Self-Critique and Refinement for Faithful Natural Language Explanations
University of Copenhagen(哥本哈根大学)
针对自然语言解释不忠实问题,提出SR-NLE框架,通过自我批评与精炼(含特征归因反馈)迭代改进解释,在三个数据集和四个LLM上将平均不忠实率从54.81%降至36.02%。
2025-09-06 cs.CL
A Chain-of-Thought Prompting Approach with LLMs for Evaluating Students' Formative Assessment Responses in Science
Vanderbilt University(范德堡大学);DePauw University(迪堡大学)
本文提出将GPT-4与少样本学习、主动学习和思维链推理结合,并引入人在回路机制,实现对中学科学形成性评价的自动评分与解释。
2024-03-21 cs.CL
Explain-Query-Test: Self-Evaluating LLMs Via Explanation and Comprehension Discrepancy
Autodesk Research(欧特克研究中心)
本文提出Explain-Query-Test(EQT)自评估流程,通过让模型生成解释、问答对并作答,发现EQT准确率可预测MMLU-Pro性能,并揭示模型解释能力与理解能力之间的差距。
2025-03-08 cs.CL cs.LG
What LLMs explain is not what they believe: Evaluating explanation sufficiency under models' own input beliefs
New York University(纽约大学)
提出自洽充分性(SCSuff)指标,利用 LLM 自身生成替代输入来评估自由文本解释的充分性,发现 LLM 解释通常不充分且与模型大小、准确率等弱相关。
2026-08-25 cs.AI cs.CL cs.LG
Explaining is Harder Than Predicting Alone: Evaluating Concept-based Explanations of MLLMs as ICL Visual Classifiers
本文通过五种形式化程度递增的条件,系统评估多模态大语言模型在少样本上下文学习中的基于概念的可解释性,发现解释比预测更难,且强制生成形式化解释会降低预测准确性。
2026-07-13 cs.AI cs.CL cs.LG
How good is my story? Towards quantitative metrics for evaluating LLM-generated XAI narratives
Universiteit Antwerpen(安特卫普大学)
针对LLM生成的XAI叙事缺乏非人工评估方式的问题,本研究提出评估框架与自动化指标,用于表格分类任务解释叙事的质量评测,对比了多款前沿LLM,并识别出相关的LLM幻觉新挑战。
2024-12-13 cs.AI cs.CL
A Causal Lens for Evaluating Faithfulness Metrics
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出因果诊断性框架,用于评估自然语言解释的忠实度度量,通过生成忠实-不忠实解释对,发现Filler Tokens在多任务中表现最佳,连续度量更优但易受噪声影响。
2025-12-24 cs.AI cs.CL cs.LG
Local Explanations and Self-Explanations for Assessing Faithfulness in black-box LLMs
University of Ioannina(约阿尼纳大学);Archimedes/Athena RC(阿基米德/雅典娜研究中心);Athens University of Economics and Business(雅典经济与商业大学)
本文提出利用局部扰动和受留一法启发的自解释技术,识别LLM生成正确答案的关键部分,并引入新指标将其与模型自解释对比以评估忠实性,在Natural Questions数据集上验证了方法的有效性。
2024-09-18 cs.AI cs.CL
From Plausible to Actionable: A Position on LLM Self-Explanations
Utrecht University(乌得勒支大学);Scuola Normale Superiore(高等师范学校);University of Pisa(比萨大学)
探讨大语言模型自我解释,指出其虽看似合理但忠实性存疑。从传统可解释人工智能角度识别评估局限,提出评估合理性与忠实性的指南,并强调评估应拓展到可操作性及相关应用,以支持不同利益相关者的明智决策和适当行动。
2026-09-23 cs.AI cs.CL
Rule2Text: A Framework for Generating and Evaluating Natural Language Explanations of Knowledge Graph Rules
University of Texas at Arlington(德克萨斯理工大学)
提出Rule2Text框架,利用大语言模型将知识图谱挖掘的逻辑规则转化为自然语言解释,通过人类评估和LLM-as-a-judge验证,微调开源模型显著提升解释质量。
2026-06-24 cs.AI cs.CL
Large Language Models as Evaluators for Recommendation Explanations
Tsinghua University(清华大学)
本文研究大型语言模型能否作为推荐解释的评估器,通过3级元评估策略和真实用户反馈验证了GPT4等LLM在适当提示下可提供准确、可复现且低成本的评估,并提出结合人类标签与多模型集成以提升评估稳定性。
2024-06-06 cs.CL cs.IR
Evaluating LLM-Generated Legal Explanations for Regulatory Compliance in Social Media Influencer Marketing
Utrecht University(乌特雷赫大学);Stichting Reclame Code(Reclame Code基金会);Maastricht University(马斯特里赫特大学)
本研究评估LLM生成的法律解释在影响者营销监管中的表现,提出推理错误分类体系,并构建标注数据集,以提升自动审核的准确性与法律稳健性。
2025-10-09 cs.CL cs.CY
Anchored Alignment for Self-Explanations Enhancement
Technische Universität Berlin(柏林工业大学);Deutsche Telekom AG(德国电信股份公司)
本文提出一种锚定偏好对对齐方法,通过分类模型输出并定制策略改进DPO,在无需标注理由的情况下提升LLM自我解释质量并保持准确性。
2024-10-17 cs.AI cs.CL
Evaluating Human Alignment and Model Faithfulness of LLM Rationale
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌公司)
本文系统比较了基于提示和基于归因的LLM理由生成方法,发现提示式自我解释在人类对齐性和模型忠实度上均不如归因式解释,并指出微调对两类方法影响不同,早期忠实度结论不确定可能源于分类准确率较低。
2024-10-22 cs.AI cs.CL
Self-AMPLIFY: Improving Small Language Models with Self Post Hoc Explanations
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Ekimetrics(埃基梅特里克斯公司)
提出 Self-AMPLIFY,通过事后解释方法从小型语言模型自动生成理由并结合 ICL,在四个模型和五个推理数据集上显著提升准确率。
2024-06-17 cs.CL cs.LG
Evaluating Consistency and Reasoning Capabilities of Large Language Models
School of Computing Science;Engineering Galgotias University Greater Noida, India
本文评估并比较了公开与专有大型语言模型在Boolq数据集上的一致性和推理能力,发现专有模型表现更优,但无一模型在两项指标上达到90%,揭示了一致性与推理的直接相关性及现有模型的推理挑战。
2024-04-25 cs.AI cs.CL
Are self-explanations from Large Language Models faithful?
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Polytechnique Montréal(蒙特利尔理工学院);McGill University(麦吉尔大学);Facebook(脸书)
针对大语言模型自解释可能误导信任的问题,提出用自一致性检验衡量其可解释性忠实度,首次将该方法应用于三类自解释场景,发现忠实度随解释类型、模型和任务变化,自解释总体不可轻信。
2024-05-16 cs.AI cs.CL cs.LG
The Sufficiency-Conciseness Trade-off in LLM Self-Explanation from an Information Bottleneck Perspective
Tehran Institute for Advanced Studies, Khatam University, Tehran, Iran(泰赫兰高级研究学院,卡坦大学,泰赫兰,伊朗)
本文从信息瓶颈视角探讨了大型语言模型自我解释中充分性与简洁性之间的权衡,通过实验表明简洁解释在保持准确性的同时能显著减少长度,但过度压缩会损害性能。
2026-02-15 cs.AI cs.CL
Can Large Language Models Explain Themselves? A Study of LLM-Generated Self-Explanations
UC Santa Cruz(加州大学圣克鲁兹分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本研究探究ChatGPT等LLM生成的自我解释在情感分析中的质量,发现其忠实度与传统方法相当、成本更低,但一致性差异显著,促使重新思考可解释性实践。
2023-10-17 cs.CL cs.LG
Self-Explanation in Social AI Agents
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种社会性AI代理的自我解释方法,通过内省功能自我模型并结合思维链与ChatGPT生成解释,以提升透明度和信任,并在实时课堂中验证了其完整性与正确性。
2025-01-19 cs.AI cs.CL cs.CY
ICE: Intervention-Consistent Explanation Evaluation with Statistical Grounding for LLMs
Indian Institute of Information Technology, Allahabad(印度阿勒颇信息学院);National Institute of Electronics and Information Technology(电子与信息技术国家研究院)
本文提出ICE框架,通过多干预操作比较解释与随机基线,发现解释一致性依赖于干预操作,且不同语言模型在不同任务上的表现存在显著差异,揭示了模型与语言之间的复杂交互。
2026-09-03 cs.AI cs.CL cs.LG
Automated Assessment of Students' Code Comprehension using LLMs
University of Memphis(孟菲斯大学)
本文探索利用大语言模型自动评估学生对程序代码的简短开放式解释,发现少样本和思维链提示下的LLMs可与微调后的编码器模型相媲美。
2023-12-19 cs.AI cs.CL cs.CY
Towards a Framework for Evaluating Explanations in Automated Fact Verification
Imperial College London(帝国理工学院)
针对NLP深度模型不透明背景下合理化解释的系统评估需求,提出适配从自由形式到论证式等不同复杂度解释结构的正式框架,并以自动化事实验证任务为例说明其评估用途。
2024-05-19 cs.CL
Evaluating neural network explanation methods using hybrid documents and morphological agreement
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
深度神经网络(DNN)的行为很难理解。这就需要探索事后解释方法。我们对NLP的解释方法进行了第一次全面评估。为此,我们设计了两个新的评估范式,涵盖两个重要的NLP问题:小背景和大背景的问题。这两种范例都不需要手动注释,因此具有广泛的适用性。我们还介绍了LIMSSE,这是一种受LIME启发的解释方法,专为NLP设计。我们的经验表明,LIMSSE,LRP和DeepLIFT是最有效的解释方法,并推荐它们用于解释NLP中的DNN。
2019-05-06 cs.CL
Evaluating Explanation Methods for Neural Machine Translation
University of Electronic Science and Technology of China(电子科技大学);Tencent AI Lab(腾讯人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学)
近年来,人们对黑箱NMT模型进行了大量的研究,但在评价解释方法的指标方面却进展甚微。词对齐出错率可以作为一个符合人类理解的度量指标,但它不能衡量对那些与源词不对齐的目标词的解释方法。因此,本文从另一个角度对解释方法进行了初步的尝试。为此,它提出了一个原则性的度量基于保真度方面的NMT模型的预测行为。由于这个度量的精确计算是棘手的,我们采用了一种有效的方法作为其近似。在六个标准的翻译任务中,我们定量地评估了几种解释方法,并在实验中揭示了这些解释方法的一些有价值的发现。
2020-05-04 cs.CL
CRaFT: An Explanation-Based Framework for Evaluating Cultural Reasoning in Multilingual Language Models
CRaFT是一个基于解释的多语言评估框架,通过文化流畅度等四个指标评估LLM跨文化推理,发现文化意识依赖语言框架而非固有。
2025-10-15 cs.CL
Evaluating Input Feature Explanations through a Unified Diagnostic Evaluation Framework
University of Copenhagen(哥本哈根大学)
本文提出统一诊断评估框架,系统比较词元级、词元交互级和片段交互级三类输入特征解释,发现交互式片段解释在多数诊断属性上表现更优,并指出需进一步研究及融合不同解释类型以提升整体效果。
2025-02-07 cs.CL
PhysNLU: A Language Resource for Evaluating Natural Language Understanding and Explanation Coherence in Physics
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文构建PhysNLU数据集集合,从句子排序、位置、章节预测和话语连贯性等方面评估语言模型对物理解释的理解能力,并通过基线揭示现有模型的不足。
2023-06-02 cs.CL
The Illusion of Competence: Evaluating the Effect of Explanations on Users' Mental Models of Visual Question Answering Systems
Computational Linguistics, Department of Linguistics, Bielefeld University(语言学计算系,语言学系,比勒菲尔德大学);Honda Research Institute Europe(本田欧洲研究院);Digital Linguistics Lab, Department of Linguistics, Bielefeld University(数字语言学实验室,语言学系,比勒菲尔德大学)
本研究通过视觉问答任务探究解释对用户感知AI系统局限性的影响,发现解释非但未提升透明度,反而普遍增强用户对系统能力的感知,形成“能力错觉”。
2024-10-21 cs.CL
QA2Explanation: Generating and Evaluating Explanations for Question Answering Systems over Knowledge Graph
University of Dayton(代顿大学);RWTH Aachen(亚琛工业大学);Zerotha Research(泽罗萨研究中心);Cerence GmbH(塞伦斯有限责任公司)
在大知识图谱时代,问答(QA)系统在性能和可行性方面达到了一个里程碑。然而,它们的适用性,特别是在特定领域,如生物医学领域,没有得到广泛的接受,由于其“黑箱”的性质,这阻碍了透明度,公平性和问责制的QA系统。因此,用户无法理解特定问题是如何以及为什么得到回答的,而其他一些问题则失败了。为了应对这一挑战,在本文中,我们开发了一种自动的方法,在基于流水线的QA系统的各个阶段生成解释。我们的方法是一种有监督的自动方法,它考虑三个类(即,成功、无答案和错误答案),用于注释所涉及的QA组件的输出。根据我们的预测,选择模板解释并将其集成到相应组件的输出中。为了衡量这种方法的有效性,我们进行了一项用户调查,以了解非专家用户如何看待我们生成的解释。我们的研究结果表明,从人机交互社区的人的因素的四个维度显着增加。
2020-10-16 cs.CL
ER-Test: Evaluating Explanation Regularization Methods for Language Models
University of Southern California(南加州大学);Meta AI
通过解释人类将如何解决给定的任务,人类的理性可以为神经语言模型(LM)提供强大的学习信号。解释正则化(ER)旨在通过推动LM的机器原理(LM关注哪些输入标记?)与人类的基本原理保持一致(人类会关注哪些输入令牌?)。虽然以前的作品主要研究ER通过在分布(ID)评估,分布外(OOD)的推广往往是更关键的在现实世界中的场景,但ER的OOD推广的效果一直未被充分探索。在本文中,我们介绍了ER测试,一个框架,用于评估ER模型的面向对象的泛化沿三个维度:看不见的数据集测试,对比集测试,和功能测试。使用ER测试,我们广泛地分析了ER模型的OOD泛化如何随着不同的ER设计选择而变化。在两个任务和六个数据集上,ER测试表明ER对ID性能的影响很小,但可以产生很大的OOD性能增益。此外,我们发现,ER可以提高OOD性能,即使在有限的理性监督。ER测试的结果有助于证明ER的实用性,并建立有效使用ER的最佳实践。
2023-02-28 cs.CL
Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations
Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能)
为了“解释”机器学习模型的预测,研究人员提出了数百种将预测归因于被认为重要的特征的技术。虽然这些属性通常被认为有可能提高人类对模型的“理解”,但令人惊讶的是,很少有工作明确评估朝着这一目标的进展。在本文中,我们进行了一项众包研究,参与者与经过训练的欺骗检测模型进行互动,以区分真实和虚假的酒店评论。他们既要在新的评论上模拟模型,又要编辑评论,目的是降低最初预测的类别的概率。成功的操纵将导致一个敌对的例子。在训练(但不是测试)阶段,输入范围会被突出显示以传达显着性。通过我们的评估,我们观察到,对于线性词袋模型,与无解释对照相比,在训练期间访问特征系数的参与者能够在测试阶段导致模型置信度的较大降低。对于基于BERT的分类器,流行的本地解释并没有提高他们的能力,以减少模型的信心比无解释的情况。值得注意的是,当BERT模型的解释是由一个被训练来模仿BERT模型的线性模型的(全局)属性给出时,人们可以有效地操纵模型。
2022-08-21 cs.CL
On the Challenges of Evaluating Compositional Explanations in Multi-Hop Inference: Relevance, Completeness, and Expert Ratings
University of Arizona(亚利桑那大学)
构建组合解释需要模型将两个或多个事实结合在一起,描述为什么问题的答案是正确的。通常,这些“多跳”解释相对于一个(或少量)黄金解释进行评估。在这项工作中,我们发现这些评估大大低估了模型的性能,无论是在所包含的事实的相关性,以及模型生成的解释的完整性,因为模型经常发现和产生有效的解释,是不同于黄金的解释。为了解决这个问题,我们构建了一个大型语料库的126k领域专家(科学教师)的相关性评级,增加了语料库的解释标准化的科学考试问题,发现80k额外的相关事实不评为黄金。我们建立了三个强大的模型基于不同的方法(生成,排名和模式),并实证表明,虽然专家增强的评级提供更好的估计解释质量,无论是原始(黄金)和专家增强的自动评估仍然大大低估了性能高达36%,与全手动专家判断相比,不同的模型受到不成比例的影响。这对准确评估组合推理模型产生的解释提出了重大的方法学挑战。
2021-09-07 cs.AI cs.CL
Evaluating Explanations: How much do explanations from the teacher aid students?
Carnegie Mellon University(卡内基梅隆大学);Delhi Technological University(德里理工大学);Google Research(谷歌研究院)
虽然许多方法都声称通过突出显著特征来解释预测,但这些解释的目的是什么以及应该如何评估它们往往没有说明。在这项工作中,我们引入了一个框架来量化解释的价值,通过准确性增益,他们赋予一个学生模型训练模拟教师模型。至关重要的是,这些解释在培训期间对学生可用,但在考试时却不可用。与以前的建议相比,我们的方法是不容易被玩弄,使原则性的,自动的,模型不可知的评价属性。使用我们的框架,我们比较了文本分类和问答的众多归因方法,并观察到在不同的学生模型架构和学习策略之间一致(中度到高度)的定量差异。
2021-12-17 cs.CL cs.LG
CoSy: Evaluating Textual Explanations of Neurons
TU Berlin(柏林工业大学);BIFOLD(柏林大数据中心);ATB Potsdam(波茨坦农业与生物研究中心);Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);University of Potsdam(波茨坦大学)
针对缺乏统一定量方法评估神经元文本解释质量的问题,本文提出架构无关的CoSy框架,通过生成模型创建解释对应的数据点,比较神经元对生成数据与控制数据的响应评估质量,并在计算机视觉任务中验证了框架有效性。
2024-12-05 cs.AI cs.CL cs.LG
EvoGrader: an online formative assessment tool for automatically evaluating written evolutionary explanations
Stony Brook University(石溪大学)
EvoGrader是一个免费的,在线的,按需的形成性评估服务,专为本科生物课堂使用。EvoGrader的门户网站由Amazon的Elastic Cloud提供支持,并使用LightSIDE Lab的开源机器学习工具运行。EvoGrader门户网站允许生物学教师上传一个响应文件(.csv),其中包含无限数量的进化解释,这些解释是针对86种不同的ACORNS(评估自然选择的上下文推理)工具项目编写的。系统自动分析回答,并提供关于每个学生的回答中包含的科学和朴素概念的详细信息,以及总体学生(和样本)推理模型类型。EvoGrader提供的图表和视觉模型总结了班级水平的反应;原始分数的可下载文件(.csv格式)也提供了更详细的分析。虽然EvoGrader使用的计算机器很复杂,但使用该系统很容易。用户只需要知道如何使用电子表格来组织学生的反应,上传文件到网络,并使用Web浏览器。使用2,200份书面进化解释的新样本进行的一系列实验表明,EvoGrader评分与受过训练的人类评分员的评分相当,尽管EvoGrader评分所需的时间少了99%,而且是免费的。EvoGrader将引起生物学教师的兴趣,他们教授大班,试图强调科学实践,如生成科学解释,并教授交叉思想,如进化和自然选择。EvoGrader的软件架构被描述为它可以作为一个模板,用于为生物学和其他学科的其他核心概念开发机器学习门户。
2016-01-13 cs.CL
MFTCXplain: A Multilingual Benchmark Dataset for Evaluating the Moral Reasoning of LLMs through Multi-hop Hate Speech Explanation
University of Southern California(南加州大学);São Paulo State University(圣保罗州立大学);Saarland University(萨尔兰大学);University of Melbourne(墨尔本大学);Howard University(霍华德大学);Portland State University(波特兰州立大学);Leiden University(莱顿大学)
本文提出多语言基准数据集MFTCXplain,基于道德基础理论通过多跳仇恨言论解释评估LLMs的道德推理,发现模型在仇恨言论检测上表现良好但道德情感预测能力弱,且在代表性不足的语言中理由一致性有限。
2025-10-12 cs.CL
Evaluating Explanations: An Explanatory Virtues Framework for Mechanistic Interpretability -- The Strange Science Part I.ii
UK AI Security Institute(英国人工智能安全研究院)
本文针对机制可解释性缺乏评估解释通用方法的问题,引入了基于科学哲学四视角的解释性美德框架,系统评估并改进解释,指出 Compact Proofs 是极具前景的方法,并提出了未来研究方向。
2025-05-02 cs.AI cs.CL cs.HC
A Cognitively Motivated Multidimensional Framework for Evaluating Metaphor Explanations
Constructor University(康斯特大学);University of Turin(都灵大学);Örebro University(厄勒布鲁大学);University of Salerno(萨勒诺大学)
该研究提出受认知启发的多维框架评估隐喻解释,经标注研究验证其多维性等特性,自动评估流程可部分恢复该结构,表明多维评估更具诊断价值,自动评估器需以保留人类判断结构为评判标准。
2026-08-18 cs.AI cs.CL
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在NLP社区中,关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中,我们(i)在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性,以及(ii)将这种分析扩展到也包括基于transformer的模型。我们发现,基于注意力的解释并不强烈相关的任何最近的特征归因方法,无论模型或任务。此外,我们发现,没有一个测试的解释强烈相关,彼此为transformer为基础的模型,导致我们质疑的基本假设,我们应该衡量基于注意力的解释的有效性的基础上,以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后,我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法,并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior?
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
近年来,解释机器学习模型的数学方法激增。我们进行了人类受试者测试,这是同类测试中的第一次,以隔离算法解释对模型可解释性,可模拟性的关键方面的影响,同时避免重要的混淆实验因素。当一个人可以根据新的输入预测其行为时,模型是可模拟的。通过文本和表格数据的两种模拟测试,我们评估了五种解释方法:(1)LIME,(2)锚,(3)决策边界,(4)原型模型,和(5)一个组合的方法,从每种方法的解释。在极少数情况下,发现方法有效性的明确证据:LIME提高了表格分类的可模拟性,我们的原型方法在反事实模拟测试中是有效的。我们也收集解释的主观评分,但我们没有发现评分可以预测解释的帮助程度。我们的研究结果提供了第一个可靠和全面的估计如何解释影响模拟性在各种解释方法和数据域。我们表明,(1)我们需要小心我们用来评估解释方法的指标,(2)目前的方法有很大的改进空间。我们所有的支持代码、数据和模型都可以在https://github.com/peterbhase/InterpretableNLP-ACL2020上公开获取。
2020-05-04 cs.AI cs.CL cs.LG
Not All Explanations Simulate Equally: Comparing Verbalized Feature Attributions and Self-Generated Rationales
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学文学与文化研究系)
本研究通过反事实模拟设置,比较了言语化特征归因和自生成理由两种解释来源对问答模型行为可模拟性的影响,发现解释格式和粒度显著影响模拟效果。
2026-05-31 cs.CL