Assertion Enhanced Few-Shot Learning: Instructive Technique for Large Language Models to Generate Educational Explanations
North Carolina State University（北卡罗来纳州立大学）
本文提出断言增强少样本学习提示方法，通过在少样本示范中加入断言提升LLM教育解释生成质量，教师评估显示准确率提升15%。
2024-01-20 cs.CL
Can Explanations Be Useful for Calibrating Black Box Models?
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
NLP从业者通常希望采用现有的训练模型，并将其应用于新领域的数据。虽然可以使用微调或少样本学习来适应基本模型，但没有单一的方法使这些技术工作;此外，如果将其部署为黑盒，则可能无法访问原始模型权重。我们研究了如何通过利用模型行为的解释来提高黑盒模型在新领域的性能。我们的方法首先提取一组特征，将人类对任务的直觉与黑盒解释技术生成的模型属性相结合，然后使用一个简单的校准器，以分类器的形式，来预测基础模型是否正确。我们实验我们的方法上的两个任务，提取问答和自然语言推理，覆盖适应从几对域有限的目标域数据。所有领域对的实验结果表明，解释对于校准这些模型是有用的，当预测不必在每个示例中返回时，可以提高准确性。我们进一步表明，校准模型在一定程度上转移任务之间。
2022-03-15 cs.CL
Generating Token-Level Explanations for Natural Language Inference
University of Cambridge（剑桥大学）；Amazon（亚马逊）
自然语言推理（NLI）的任务被广泛地建模为有监督的句对分类。虽然最近在生成分类器对单个文本的预测的解释方面做了很多工作，但还没有尝试生成分类器对句子对的操作的解释。在本文中，我们表明，它是可能的，生成令牌级的解释NLI，而不需要明确注释为此目的的训练数据。我们使用一个简单的LSTM架构，并为此任务评估LIME和Anchor解释。我们将这些与使用阈值注意力进行标记级预测的多实例学习（MIL）方法进行比较。本文提出的方法是一种新的扩展zero-shot单句标记的句子对NLI。我们进行了我们的实验，充分研究的SNLI数据集，最近增加了手动注释的令牌，解释蕴涵关系。我们发现，我们的白盒MIL为基础的方法，而数量级更快，并没有达到相同的准确性的黑盒方法。
2019-04-24 cs.CL cs.LG stat.ML
LaSQuE: Improved Zero-Shot Classification from Explanations Through Quantifier Modeling and Curriculum Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
人类智力的一个标志是纯粹从语言中学习新概念的能力。最近的几种方法已经探索了通过自然语言监督来训练机器学习模型。然而，这些方法在利用语言量词（如“总是”或“很少”）和模仿人类在组成学习复杂的任务。在这里，我们提出了LaSQuE，一种可以通过使用三种新策略从语言解释中学习zero-shot分类器的方法-（1）对解释中的语言量词的语义进行建模（包括利用序数强度关系，例如“总是”>“可能”），（2）使用基于注意力的机制从多个解释中聚合信息，以及（3）通过课程学习进行模型训练。有了这些策略，LaSQuE的性能优于之前的工作，在推广到看不见的真实世界分类任务时，绝对增益高达7%。
2022-12-18 cs.CL
SPARSEFIT: Few-shot Prompting with Sparse Fine-tuning for Jointly Generating Predictions and Natural Language Explanations
ETH Zürich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
本文提出 SparseFit 稀疏少样本微调策略，通过离散提示联合生成预测与自然语言解释，仅微调 6.8% 参数即可在性能和解释质量上达到或超越全量微调及现有参数高效微调方法。
2024-08-11 cs.AI cs.CL
FLAME: Self-Supervised Low-Resource Taxonomy Expansion using Large Language Models
Indian Institute of Technology Delhi（印度德里理工学院）；Samsung Research and Development Institute（三星研发研究院）
本文提出FLAME，一种利用大语言模型和强化学习在低资源场景下自动扩展分类体系的方法，在三个基准上相比八个基线准确率提升18.5%、Wu & Palmer指标提升12.3%。
2024-02-21 cs.CL cs.SI
Zero-shot Explainable Mental Health Analysis on Social Media by Incorporating Mental Scales
South China University of Technology（华南理工大学）
针对传统判别式和现有生成式方法在可解释性与可靠性上的不足，提出结合心理量表的心理分析（MAIMS）零样本方法，通过患者填表与心理学家解读两步生成严谨解释，性能优于其他零样本方法。
2024-03-15 cs.AI cs.CL
Selective Shot Learning for Code Explanation
Bosch Research and Technology Centre（博世研究技术中心）
本文针对代码解释任务，提出利用实体信息的选择性样本学习新方法SSL_ner，在开源代码LLM上系统评估多种少样本选择策略，并验证其优于现有方法。
2024-12-17 cs.CL cs.IR cs.SE
The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提示一个大语言模型（LLM），如GPT-3与解释改善上下文学习？我们研究这个问题的两个NLP任务，涉及推理的文本，即问答和自然语言推理。我们测试了四个LLM在三个文本推理数据集上的性能，使用的提示包括多种不同风格的解释。对于这些任务，我们发现，在OPT，GPT-3（davinci）和InstructGPT（text-davinci-001）的提示中包含解释，与标准的few show学习相比，只能产生小到中等的准确性提高。然而，text-davinci-002能够更大程度地受益。我们进一步表明，由LLM生成的解释可能不需要模型的预测，也不是事实上基于输入，即使是在简单的任务与提取的解释。然而，这些有缺陷的解释仍然可以作为事后验证LLM预测的一种方法。通过在我们的三个设置中的分析，我们表明，人类判断的解释是好的-逻辑上与输入和预测一致-更有可能与准确的预测共存。根据这些观察结果，我们使用自动提取的分数来训练校准器，这些分数评估解释的可靠性，使我们能够在所有数据集上提高性能。
2022-10-13 cs.CL
Few Shot Rationale Generation using Self-Training with Dual Teachers
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
针对少样本且缺乏大规模人工理由与标签的场景，提出双教师自训练框架及MLR损失，将预测与理由教师蒸馏给多任务学生，提升标签建模和忠实理由生成。
2023-06-05 cs.AI cs.CL
Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU
The Ohio State University（俄亥俄州立大学）；Microsoft Research（微软研究院）
虽然预训练的语言模型在几个自然语言理解任务中获得了最先进的性能，但它们在决策过程中非常不透明。虽然最近的一些工作专注于通过突出文本中的突出概念作为理由或理由来合理化神经预测，但它们依赖于数千个标记的训练样本用于任务标签以及注释的每个实例的理由。对于许多任务来说，获得这种广泛的大规模注释是不可行的。为此，我们开发了一个多任务的教师-学生框架的基础上自我训练语言模型有限的任务特定的标签和理由，明智的样本选择，从信息丰富的伪标记的例子1。我们研究了构成良好理论基础的几个特征，并证明了神经模型的性能可以通过使其意识到其合理化预测来显着提高，特别是在低资源环境中。在多个基准数据集上的实验证明了该方法的有效性。
2021-09-17 cs.CL
Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations
Cornell University（康奈尔大学）
本文提出一种利用互斥解释的溯因常识推理方法，通过后验正则化强制互斥约束，无需人工标注监督即可区分流畅与合理解释，在多数据集上表现优于或可比于零样本预训练模型及知识增强方法。
2023-05-24 cs.AI cs.CL
STEP-EZ: Syntax Tree guided semantic ExPlanation for Explainable Zero-shot modeling of clinical depression symptoms from text
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所）
我们专注于探索零射击学习（Zero-Shot Learning，简称ZRL）的各种方法，以及它们对一个具有挑战性但又重要的监督学习任务的可解释性，该任务因训练数据稀缺而臭名昭著，即从文本中进行抑郁症状检测（Depression Symptoms Detection，简称DSD）。我们首先全面综合了我们的EML建模的不同组成部分，并在执业临床医生的帮助下分析了我们的地面真实样本和抑郁症状线索的治疗过程。接下来，我们将分析各种最先进的ARML模型的准确性及其对我们任务的潜在增强。此外，我们勾勒出一个框架，使用的层次化的基于文本的解释机制，我们称之为，语义树引导的语义解释（STEP）。最后，我们总结了实验，从中我们得出结论，我们可以使用CNOL模型，并实现合理的准确性和可解释性，衡量一个建议的可解释性指数（EI）。这项工作是，据我们所知，第一次工作，详尽地探讨的有效性，DSDtask，无论是在准确性和可解释性方面的CNOL模型。
2021-06-23 cs.AI cs.CL cs.IR
When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）；Technical University of Munich（慕尼黑工业大学）；MaiNLP lab, CIS, LMU Munich（慕尼黑大学CIS研究所MaiNLP实验室）
该研究通过在6个基准和4个指令调优模型上的比较评估，探究不同来源与选择方式的自然语言解释对上下文学习下游性能的影响，为实际提示流程中解释的选择和报告提供了见解。
2026-08-18 cs.AI cs.CL
Generating Zero-shot Abstractive Explanations for Rumour Verification
University of Warwick（华威大学）；Mohammed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；The Alan Turing Institute（阿兰·图灵研究所）；Queen Mary University of London（伦敦大学玛丽皇后学院）
本文将谣言验证任务重构为生成自由文本解释，提出基于GNN的零样本方法，结合事后可解释性评分与意见引导式摘要生成解释，并利用LLM评估，证明抽象式摘要比仅用高排名帖子更具信息量且更贴合预测真实性。
2024-02-23 cs.CL
Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models
Alibaba（阿里巴巴）
本文提出任务无关的“自我解释”提示策略，让LLM在执行任务前先分析每句对话，在六个基准上超越零样本并匹敌少样本提示，显著提升多轮对话理解能力。
2023-09-22 cs.AI cs.CL
Zero-Shot Classification by Logical Reasoning on Natural Language Explanations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出 CLORE 框架，将自然语言解释解析为逻辑结构并进行显式推理，从而提升零样本分类性能，并可扩展到视觉模态且受语言偏差影响更小。
2023-05-25 cs.CL
HateCOT: An Explanation-Enhanced Dataset for Generalizable Offensive Speech Detection via Large Language Models
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
针对现有攻击性内容检测模型泛化性差的问题，本文提出包含5.2万余样本、带GPT-3.5Turbo生成且人工整理解释的HateCOT数据集，可提升开源大语言模型在多基准上的零/少样本检测性能，还能助力有限数据下的K样本微调并提升解释质量。
2024-10-05 cs.AI cs.CL cs.SI
Zero-Shot Commonsense Validation and Reasoning with Large Language Models: An Evaluation on SemEval-2020 Task 4 Dataset
College of Information Technology（信息技术学院）；Lusail University（卢赛尔大学）；Qatar University（卡塔尔大学）
本研究在SemEval-2020 Task 4数据集上零样本评估多款大语言模型的常识验证与解释能力，发现大模型常识验证接近人类水平，但常识解释能力仍有不足，暴露了因果与推断推理的局限。
2025-02-19 cs.AI cs.CL
FarExStance: Explainable Stance Detection for Farsi
Dublin City University（都柏林城市大学）；Iran University of Science and Technology（伊朗科技大学）；Dadmatech（Dadmatech公司）；University of Birmingham（伯明翰大学）；Cardiff University（卡迪夫大学）
本文提出了波斯语可解释立场检测新数据集FarExStance，通过比较微调RoBERTa与多种大语言模型在多种设置下的表现，发现不同模型在立场检测准确性和解释质量上各有优势。
2024-12-18 cs.CL
Why Does Zero-Shot Cross-Lingual Generation Fail? An Explanation and a Solution
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文揭示零样本跨语言生成失败的根源在于微调学到语言不变表示，并提出正则化与无开发集检查点选择方法，显著减少错误语言输出并提升生成质量。
2023-05-27 cs.CL
FLEx: Language Modeling with Few-shot Language Explanations
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
FLEx通过少量解释性示例改进语言模型，有效减少错误并优于链式推理方法。
2026-01-21 cs.CL cs.LG
Can language models learn from explanations in context?
DeepMind（深度思维）
语言模型（LM）可以通过适应一些上下文示例来执行新的任务。对于人类来说，将示例与任务原则联系起来的解释可以改善学习。因此，我们调查是否解释Few-Shot的例子可以帮助LM。我们从40个具有挑战性的任务与答案的解释，和各种匹配的控制解释注释的问题。我们评估不同类型的解释，指令和控制如何影响零和Few-Shot性能。我们分析这些结果使用统计多级建模技术，占嵌套的依赖关系之间的条件，任务，提示，和模型。我们发现，解释可以提高性能--即使没有调优。此外，针对小验证集的性能手动调整的解释提供了更大的好处，并且通过一起选择示例和解释来构建提示比单独选择示例大大提高了性能。最后，即使是未调整的解释也优于仔细匹配的控制，这表明这些好处是由于示例和其解释之间的联系，而不是较低级别的功能。然而，只有大型模型受益。总之，解释可以支持大型LM在具有挑战性的任务上的上下文学习。
2022-10-10 cs.AI cs.CL cs.LG
A Gold Standard Dataset and Evaluation Framework for Depression Detection and Explanation in Social Media using LLMs
IIT Bombay（孟买印度理工学院）
本文构建含1,017条专家标注帖子的抑郁检测金标准数据集与评估框架，细粒度评估GPT-4.1等LLM在零样本和少样本提示下生成临床解释的忠实性与质量。
2025-07-26 cs.CL
Few-Shot Knowledge Distillation of LLMs With Counterfactual Explanations
University of Maryland, College Park（马里兰大学 College Park 分校）
针对少样本任务感知知识蒸馏数据不足的问题，提出反事实解释注入蒸馏（CoD）策略，利用反事实解释以更少样本精确映射教师决策边界，并在理论和实验上证明其优于标准方法。
2025-10-24 cs.AI cs.CL cs.CY
Few-Shot Self-Rationalization with Natural Language Prompts
Allen Institute for AI（艾伦人工智能研究所）
预测任务标签并为其预测生成自由文本阐述的自我合理化模型可以实现与NLP系统更直观的交互。然而，这些模型目前使用大量人类编写的自由文本解释来训练每个任务，这阻碍了它们更广泛的使用。我们建议使用少量的训练样本来研究一种更现实的自我合理化设置。我们提出了FEB -一个标准化的收集四个现有的英语语言数据集和相关的指标。我们确定了正确的提示方法，通过广泛探索自然语言提示FEB。然后，通过使用这种提示和缩放模型的大小，我们证明了取得进展的Few-Shot自我合理化是可能的。我们发现，在这项任务中仍然有很大的改进空间：由人类注释者评估的生成解释的平均可解释性最多为51%（使用GPT-3），而人类解释的可解释性为76%。我们希望FEB和我们提出的方法将激励社区接受Few-Shot自我合理化的挑战。
2022-04-26 cs.CL
Explanation based In-Context Demonstrations Retrieval for Multilingual Grammatical Error Correction
State Key Laboratory of Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Computer Science, Peking University（北京大学计算机学院）
针对多语言语法错误纠正中上下文示例选择难题，提出基于语法错误解释（GEE）的检索方法，通过匹配错误模式选示例，在5种语言实验中优于现有技术，无需额外训练或适配。
2025-02-12 cs.CL
STREET: A Multi-Task Structured Reasoning and Explanation Benchmark
AWS AI（AWS人工智能研究院）；Northwestern University（西北大学）
我们介绍STREET，一个统一的多任务和多领域的自然语言推理和解释基准。与大多数现有的问答（QA）数据集不同，我们期望模型不仅回答问题，而且还产生逐步的结构化解释，描述如何使用问题中的前提来产生可以证明某个答案正确性的中间结论。我们使用流行的语言模型进行广泛的评估，例如Few-Shot提示GPT-3和微调的T5。我们发现，这些模型仍然落后于人类的表现时，产生这种结构化的推理步骤。我们相信这项工作将为社区提供一种方法，以更好地训练和测试多步推理和自然语言解释系统。
2023-02-13 cs.AI cs.CL
Pathologies of Pre-trained Language Models in Few-shot Fine-tuning
University of Virginia（弗吉尼亚大学）；Microsoft Research（微软研究院）
虽然用很少的例子来适应预训练的语言模型在文本分类上表现出了很好的性能，但人们对性能提升的来源缺乏了解。在这项工作中，我们建议回答这个问题，通过解释适应行为使用事后解释模型预测。通过对解释的特征统计进行建模，我们发现（1）在没有微调的情况下，预先训练的模型（例如BERT和RoBERTa）显示出跨标签的强预测偏差;（2）尽管Few-Shot微调可以减轻预测偏差并展示有希望的预测性能，我们的分析表明，模型通过捕获非任务相关的特征（例如，停止词）或浅数据模式（例如，词汇重叠）来获得性能改进。这些观察结果提醒我们，用更少的例子追求模型性能可能会导致病态的预测行为，这需要对模型预测进行进一步的健全性检查，并在Few-Shot微调中仔细设计模型评估。
2022-04-17 cs.CL
Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
本研究提出零样本自去偏技术，利用大型语言模型自身能力，通过解释和重新提示两种方法，在不修改模型的情况下显著减少九个社会群体的刻板印象偏见。
2024-02-03 cs.AI cs.CL cs.CY
Improving Few-Shot Image Classification Using Machine- and User-Generated Natural Language Descriptions
NTT Corporation（日本电报电话公司）；NTT Human Informatics Laboratories（NTT人类信息学实验室）
人类可以从语言描述中获得新的视觉概念的知识，因此我们使用Few-Shot图像分类任务来研究机器学习模型是否具有这种能力。我们提出的模型，LIDE（从图像和描述学习），有一个文本解码器来生成的描述和文本编码器，以获得机器或用户生成的描述的文本表示。我们证实，具有机器生成描述的LIDE优于基线模型。此外，通过高质量的用户生成的描述，性能得到了进一步改善。生成的描述可以被视为模型预测的解释，我们观察到这些解释与预测结果一致。我们还研究了为什么语言描述提高了Few-Shot图像分类的性能，通过比较图像表示和文本表示的特征空间。
2022-07-07 cs.CL cs.CV
Automated Explanation of Machine Learning Models of Footballing Actions in Words
Uppsala University（乌普萨拉大学）；Twelve Football
研究提出wordalizations方法，利用逻辑回归构建预期进球模型并结合大型语言模型生成射门描述，以弥合机器学习与足球教练沟通的鸿沟。
2025-04-01 cs.CL cs.HC cs.LG
Are Hard Examples also Harder to Explain? A Study with Human and Model-Generated Explanations
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Hugging Face
最近关于可解释NLP的工作表明，Few-Shot提示可以使大型预训练语言模型（LLM）能够为数据标签生成语法和事实自然语言解释。在这项工作中，我们通过调查以下研究问题来研究可解释性和样本硬度之间的联系-“LLM和人类同样擅长解释简单和困难样本的数据标签吗？“我们首先通过收集Winograd Schema Challenge（Winogrande数据集）任务中可推广的常识规则形式的人类书面解释来回答这个问题。我们将这些解释与GPT-3产生的解释进行比较，同时改变测试样品以及上下文样品的硬度。我们观察到，（1）GPT-3的解释与人类的解释一样符合语法，无论测试样本的难度如何;（2）对于简单的例子，GPT-3产生了高度支持的解释，但人类的解释更具概括性;（3）对于困难的例子，人类的解释在标签重复性和概括性判断方面都明显优于GPT-3的解释。我们还发现，在上下文中的例子的硬度影响GPT-3解释的质量。最后，我们表明，人类解释的重复性和概括性方面也受到样品硬度的影响，虽然比模型小得多。支持代码和数据可在https://github.com/swarnaHub/ExplanationHardness上获得
2022-11-14 cs.AI cs.CL
Rule2Text: A Framework for Generating and Evaluating Natural Language Explanations of Knowledge Graph Rules
University of Texas at Arlington（德克萨斯理工大学）
提出Rule2Text框架，利用大语言模型将知识图谱挖掘的逻辑规则转化为自然语言解释，通过人类评估和LLM-as-a-judge验证，微调开源模型显著提升解释质量。
2026-06-24 cs.AI cs.CL
Large Language Models Are Better Logical Fallacy Reasoners with Counterargument, Explanation, and Goal-Aware Prompt Formulation
Sungkyunkwan University（成均馆大学）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
本研究提出一种结合反论证、解释和目标感知的提示公式化方法，显著提升大型语言模型在零样本和微调设置下的逻辑谬误检测性能。
2025-03-30 cs.AI cs.CL cs.LG
Automated Interpretability and Feature Discovery in Language Models with Agents
Harvard University（哈佛大学）
本文提出一个自主多代理框架，用于自动化大型语言模型的内部特征发现与解释，通过两个耦合循环提升解释精度和可验证性。
2026-05-02 cs.AI cs.CL cs.HC
Leveraging Machine-Generated Rationales to Facilitate Social Meaning Detection in Conversations
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出利用大型语言模型生成推理理由来增强对话文本，从而提升隐式社会意义检测在域内、零样本和少样本迁移场景下的分类性能。
2024-06-27 cs.AI cs.CL
Interpreting LLMs as Credit Risk Classifiers: Do Their Feature Explanations Align with Classical ML?
Khalifa University（卡利法大学）
本研究针对贷款违约预测任务，对比零样本大语言模型与经典LightGBM模型的预测性能、特征归因及自解释可靠性，发现LLM的特征重要性排序与传统模型差异大，自解释可信度不足，强调金融场景部署LLM需可解释性审计与人在环路监督。
2025-10-29 cs.CL
Few-shot Query-Focused Summarization with Prefix-Merging
The Hong Kong Polytechnic University（香港理工大学）；Xidian University（西安电子科技大学）；Soochow University（苏州大学）
面向查询的摘要被认为是文本摘要的一个重要扩展。它的目的是为给定的查询生成一个简洁的突出显示。与文本摘要不同，面向查询的摘要一直受到缺乏高质量大规模数据集的困扰。本文探讨了在面向查询的摘要中，能否将文本摘要和问答知识整合和迁移，以辅助少样本学习。在这里，我们提出了前缀合并，一个基于前缀的预训练策略，用于以查询为中心的摘要中的少样本学习。受前缀调整的启发，我们可以将文本摘要和问答中的任务知识整合到一个适当设计的前缀中，并将合并后的前缀应用于以查询为中心的摘要。只有少量的可训练参数，前缀合并优于以查询为中心的摘要的微调。我们进一步讨论了不同的前缀设计的影响，并提出了一个可视化的解释前缀合并的工作原理。
2022-11-29 cs.AI cs.CL
FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation
Facebook AI（脸书人工智能研究院）；University of Washington（华盛顿大学）
模型预测的自然语言（NL）解释越来越受欢迎，作为理解和验证大型黑盒预训练模型所做决策的一种手段，用于问答（QA）和事实验证等NLP任务。最近，预先训练的序列到序列（seq 2seq）模型已被证明在联合进行预测以及生成NL解释方面非常有效。然而，这些模型有许多缺点：它们甚至可以为不正确的预测编造解释，它们难以适应长输入文档，并且它们的训练需要大量的标记数据。在本文中，我们开发了FiD-Ex，它通过以下方式解决了seq 2seq模型的这些缺点：1）引入句子标记以通过鼓励提取生成来消除解释制造，2）使用解码器中的融合架构来处理长输入上下文，以及3）对重新结构化的开放域QA数据集进行中间微调以提高Few-Shot性能。FiD-Ex在解释指标和任务准确性方面显著改善了先前的工作，无论是在完全监督和Few-Shot设置中，还是在ERASER可解释性基准的多个任务上。
2020-12-31 cs.CL
Logic-Scaffolding: Personalized Aspect-Instructed Recommendation Explanation Generation using LLMs
University of Pittsburgh（匹兹堡大学）；AWS AI Labs（AWS AI 实验室）；Amazon（亚马逊）；University of California Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出Logic-Scaffolding框架，结合基于方面的解释与思维链提示，通过中间推理步骤提升大语言模型零样本推荐解释的可靠性，并展示交互式演示。
2024-01-17 cs.AI cs.CL cs.HC
CLUES: A Benchmark for Learning Classifiers using Natural Language Explanations
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
传统上，监督学习通过观察任务的标记示例来关注归纳学习。相比之下，人类有能力从语言中学习新概念。在这里，我们探索纯粹从语言中训练结构化数据的zero-shot分类器。为此，我们介绍了CLUES，一个使用自然语言解释的分类器学习基准，包括一系列结构化数据的分类任务以及解释形式的自然语言监督。CLUES由36个真实世界和144个合成分类任务组成。它包含众包解释，描述来自多个教师的真实任务，以及为合成任务编程生成的解释。为了对解释在分类示例中的影响进行建模，我们开发了ExEnt，这是一种基于蕴涵的模型，可以使用解释来学习分类器。ExEnt在新任务上的泛化能力（相对）比不使用解释的基线高出18%。我们从解释中描述了自动学习的关键挑战，解决这些挑战可以在未来推动CLUES的发展。代码和数据集可在https://clues-benchmark.github.io上获得。
2022-04-14 cs.AI cs.CL cs.LG
LEX-EC: A Lexical Evidence-Channel Audit Framework for Zero-Shot LLM Personality Classification in Black-Box Settings
研究针对大语言模型人格分类可解释性问题，提出LEX-EC框架，结合多种诊断与词汇消融，通过对不同文本体裁分析，展示特质关联与词汇证据关系，联合评估多项指标，将词汇方法应用于黑盒人格标签可解释性。
2026-08-03 cs.AI cs.CL
SMARTER: A Data-efficient Framework to Improve Toxicity Detection with Explanation via Self-augmenting Large Language Models
University of Maryland（马里兰大学）
SMARTER通过两阶段框架利用大语言模型自身输出生成解释，提升内容审核的可解释性，实验表明在三个基准任务中实现13%的宏F1提升，且数据使用量仅为全训练数据的分数。
2026-04-21 cs.AI cs.CL
Explain-then-Translate: An Analysis on Improving Program Translation with Self-generated Explanations
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；UPenn（宾夕法尼亚大学）；MIT（麻省理工学院）；Monash University Indonesia（蒙纳士大学印度尼西亚校区）
本研究提出以自生成自然语言解释为中间步骤的代码翻译方法，在零样本场景下平均提升12%，尤其对困难程序效果显著，并发布了多语言数据集与代码。
2023-11-13 cs.CL
Towards Unifying Evaluation of Counterfactual Explanations: Leveraging Large Language Models for Human-Centric Assessments
AAAI-25
本研究通过收集人类评分并微调大语言模型，实现了对反事实解释的以人为中心的统一评估，显著提高了评估的准确性和可扩展性。
2025-04-22 cs.AI cs.CL
Low-cost concept-based localized explanations: How far can we get with training-free approaches?
Dept. of Computer Science and Artificial Intelligence, University of Granada (UGR)（计算机科学与人工智能系，格拉纳达大学（UGR））
本文提出零样本概念命名协议，利用中等规模多模态大模型对局部区域进行概念标注，无需训练即可实现62%-88%的物体级精确匹配，为低成本可解释AI提供新思路。
2026-06-27 cs.AI cs.CL cs.CV
The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）
本文提出相关解释忠实性指标CEF及相关反事实测试CCT，通过考虑预测标签分布的总偏移而非仅二元变化，更准确地度量大型语言模型自由文本解释的忠实性，并在Llama2模型上验证其能捕捉CT遗漏的忠实性方面。
2024-06-07 cs.AI cs.CL
Tell Me Why: Explainable Public Health Fact-Checking with Large Language Models
School of Computing, Dublin City University（都柏林城市大学计算机学院）；Iran University of Science and Technology（伊朗科技大学）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；Lucerne School of Computer Science and Information Technology（卢塞恩计算机科学与信息技术学院）
本文通过实验分析大语言模型在公共卫生事实核查中的可解释性，比较零/少样本提示与参数高效微调，发现开源模型在少样本和微调下可超越GPT-4，并揭示人工评估中的细微差别。
2024-05-15 cs.CL
Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting
NYU Alignment Research Group（纽约大学对齐研究组）；Cohere（Cohere公司）；Anthropic（Anthropic公司）
本文揭示CoT解释会受输入偏置特征系统性影响却不被模型提及，导致模型为错误或偏见答案合理化，证明其看似可信但不忠实。
2023-12-09 cs.AI cs.CL
Self-Prompting Large Language Models for Zero-Shot Open-Domain QA
Shanghai Jiao Tong University（上海交通大学）；SJTU-Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
本文提出自提示框架，通过让大语言模型从零生成伪问答对及背景解释用于上下文学习，在零样本开放域问答上显著超越现有方法并接近全数据微调模型性能。
2024-03-28 cs.AI cs.CL
Can LLMs Produce Faithful Explanations For Fact-checking? Towards Faithful Explainable Fact-Checking via Multi-Agent Debate
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Northwestern University（西北大学）
研究LLMs在事实核查中生成忠实解释的能力，提出多智能体辩论精炼（MADR）框架，通过多智能体迭代精炼显著提升解释的忠实度和可信度。
2024-02-12 cs.CL
MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models
The University of Manchester（曼彻斯特大学）；Jiangxi Normal University（江西师范大学）；Yale University（耶鲁大学）；Wuhan University（武汉大学）
针对大语言模型在心理健康分析中零样本性能差且缺乏开源可解释模型的问题，构建了10.5万样本的IMHI数据集，并基于LLaMA2训练出首个开源的MentalLLaMA模型，在正确性和解释质量上均达到先进水平。
2024-02-04 cs.CL
Reframing Human-AI Collaboration for Generating Free-Text Explanations
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
大语言模型越来越能够在相对较少的特定于任务的监督下生成流畅的文本。但是这些模型能准确地解释分类决策吗？我们认为，自由文本的解释，使用人类写的例子，在一个Few-Shot的方式产生的任务。我们发现（1）创作更高质量的提示会导致更高质量的生成;（2）令人惊讶的是，在一次面对面的比较中，众包工作者通常更喜欢GPT-3生成的解释，而不是现有数据集中的众包解释。然而，我们对人类的研究也表明，虽然模型经常产生事实、语法和充分的解释，但它们在提供新信息和支持标签等方面还有改进的空间。我们创建了一个管道，将GPT-3与监督过滤器相结合，该过滤器将人类在循环中的二进制可接受性判断结合起来。尽管内在的主观性的可接受性判断，我们证明，可接受性部分相关的各种细粒度的属性的解释。我们的方法能够始终如一地过滤GPT-3生成的被人类认为可接受的解释。
2022-05-04 cs.CL
