LLM-Hanabi: Evaluating Multi-Agent Gameplays with Theory-of-Mind and Rationale Inference in Imperfect Information Collaboration Game
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China(计算机科学与工程系,香港科技大学,香港特别行政区,中国)
本研究提出新型基准LLM-Hanabi,基于合作博弈Hanabi评估大语言模型的行为逻辑推断与心智理论能力,发现一阶心智理论对协作表现的影响强于高阶推理,为提升多智能体协作能力指明方向。
2025-10-06 cs.AI cs.CL
A Diagnostic Study of Explainability Techniques for Text Classification
University of Copenhagen(哥本哈根大学)
机器学习的最新发展已经引入了以增加架构复杂性为代价的接近人类性能的模型。为了使模型预测背后的原理透明化,激发了大量新的可解释性技术。提供一个已经训练好的模型,他们计算输入实例的单词的显着性分数。然而,(i)在给定特定应用任务和模型架构的情况下如何选择这种技术,以及(ii)使用每种技术的优点和缺点,目前还没有明确的指南。在本文中,我们开发了一个全面的诊断性能评估现有的可解释性技术。然后,我们采用建议的列表比较下游文本分类任务和神经网络架构上的一组不同的可解释性技术。我们还比较了显着性分数分配的可解释性技术与人类注释的显着输入区域之间的关系模型的性能和协议的理由与人类的。总的来说,我们发现基于梯度的解释在任务和模型架构中表现最好,并且我们对所审查的可解释性技术的属性提出了进一步的见解。
2020-09-25 cs.CL cs.LG
Evaluating Human Alignment and Model Faithfulness of LLM Rationale
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌公司)
本文系统比较了基于提示和基于归因的LLM理由生成方法,发现提示式自我解释在人类对齐性和模型忠实度上均不如归因式解释,并指出微调对两类方法影响不同,早期忠实度结论不确定可能源于分类准确率较低。
2024-10-22 cs.AI cs.CL
Zero-shot Factual Consistency Evaluation Across Domains
University of Potsdam(波茨坦大学)
本文统一多种事实一致性相关任务训练跨域评估模型,在涵盖22个数据集的基准上超越八个基线,实现最先进性能与跨域泛化。
2024-08-07 cs.CL cs.LG
SpaceNLI: Evaluating the Consistency of Predicting Inferences in Space
Utrecht University(乌得勒支大学);Institute for Language Sciences(语言科学研究所)
本文提出空间推理数据集 SpaceNLI,并引入模式准确率指标,发现现有 NLI 系统在空间推理上表现中等且缺乏模式一致性,其中非投射性空间推理最具挑战性。
2023-07-05 cs.CL
Evaluating Factual Consistency of Texts with Semantic Role Labeling
Heidelberg University(海德堡大学)
本文提出无参考评估指标SRLScore,利用语义角色标注构建事实元组并通过可调机制评分,在英文摘要数据集上表现出与最先进方法相当的竞争力及稳定的跨域泛化能力。
2023-05-22 cs.CL
Evaluation of Multi-Turn Consistency in LLM Agents: Survival Analysis and Failure-Rationale Taxonomy
Carleton University(卡尔顿大学)
本研究通过20步延迟满足实验和84,540条轨迹,结合生存分析与理由分类学,评估了LLM智能体在多轮交互中的时间一致性,发现深思与矛盾率相关,并揭示了模型特定的失败指纹。
2026-09-25 cs.AI cs.CL cs.LG
Evaluating Webcam-based Gaze Data as an Alternative for Human Rationale Annotations
University of Copenhagen(哥本哈根大学);Technische Universität Berlin(柏林工业大学);IT University of Copenhagen(哥本哈根信息技术大学);University of Zurich(苏黎世大学)
本文研究网络摄像头眼动数据能否替代人工原理标注,通过WebQAmGaze数据集比较多语言Transformer模型的重要性分数,发现注视数据可揭示语言信息并给出相近的方法排序。
2024-02-29 cs.CL
From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Lund University(吕勒奥大学);University of Tübingen(图宾根大学);Stanford Graduate School of Education(斯坦福大学教育研究生院);Harvard Graduate School of Education(哈佛大学教育研究生院)
提出一个结合SHAP和LLM理由的框架,用于基于量规的评分模型的可解释性,并在课堂转录数据上评估其忠实性和可迁移性。
2026-04-18 cs.AI cs.CL
Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling
School of Data Science, University of Virginia(弗吉尼亚大学数据科学学院);Department of Electrical and Computer Engineering, University of Alberta(阿尔伯塔大学电气与计算机工程系)
本文提出推理感知的自洽性框架RASC,通过动态评估推理质量和答案一致性来指导早停与推理依据选择,在保持准确率的同时将采样量减少约70%,有效解决大语言模型推理中的效率与忠实度权衡问题。
2025-02-04 cs.AI cs.CL
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company(朝日新闻公司);National Institute of Informatics(国立信息学研究所)
本文构建了一个包含3,003个子问题的数据集,用于评估语言模型对逻辑阅读理解中批判性推理理由的理解,实验发现现有大模型即使能答对主问题,也难以解释为何排除错误选项,从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
OPeRA: A Dataset of Observation, Persona, Rationale, and Action for Evaluating LLMs on Human Online Shopping Behavior Simulation
Northeastern University(东北大学);University of Southern California(南加州大学);Stony Brook University(石溪大学);Independent Researcher(独立研究者);Ohio State University(俄亥俄州立大学);University of Notre Dame(Notre Dame 大学);Columbia University(哥伦比亚大学)
本文提出OPeRA数据集,用于评估LLM在模拟人类在线购物行为上的能力,通过收集真实用户在在线购物会话中的观察、人设、推理和行动,建立首个评估LLM预测特定用户下一步行动和推理的基准。
2026-05-17 cs.CL cs.HC
Consistent Multi-Granular Rationale Extraction for Explainable Multi-hop Fact Verification
Southeast University(东南大学)
本文提出一种一致多粒度理据提取方法,通过同时训练词元级和句子级解释器并引入三种诊断属性,解决了可解释多跳事实验证中单粒度解释的冗余和不一致问题。
2023-05-16 cs.CL
RORA: Robust Free-Text Rationale Evaluation
Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对自由文本理由易发生标签泄露而现有指标评估失效的问题,提出基于稳健条件 V-information 的 RORA,以量化理由新增信息,并证明其更稳健且更贴合人类判断。
2024-06-15 cs.CL
A Finetuned SpeechLLM for Joint Multi-Granular L2 Assessment and Natural-Language Rationales
Centre for Language Studies, Radboud University(语言研究中心,拉德堡德大学)
提出一种基于评分准则的SpeechLLM,通过混合训练目标联合预测句子级和词/音素级标签并生成自然语言解释,在SpeechOcean762上达到或超越单粒度模型。
2026-06-08 cs.AI cs.CL
ER-Test: Evaluating Explanation Regularization Methods for Language Models
University of Southern California(南加州大学);Meta AI
通过解释人类将如何解决给定的任务,人类的理性可以为神经语言模型(LM)提供强大的学习信号。解释正则化(ER)旨在通过推动LM的机器原理(LM关注哪些输入标记?)与人类的基本原理保持一致(人类会关注哪些输入令牌?)。虽然以前的作品主要研究ER通过在分布(ID)评估,分布外(OOD)的推广往往是更关键的在现实世界中的场景,但ER的OOD推广的效果一直未被充分探索。在本文中,我们介绍了ER测试,一个框架,用于评估ER模型的面向对象的泛化沿三个维度:看不见的数据集测试,对比集测试,和功能测试。使用ER测试,我们广泛地分析了ER模型的OOD泛化如何随着不同的ER设计选择而变化。在两个任务和六个数据集上,ER测试表明ER对ID性能的影响很小,但可以产生很大的OOD性能增益。此外,我们发现,ER可以提高OOD性能,即使在有限的理性监督。ER测试的结果有助于证明ER的实用性,并建立有效使用ER的最佳实践。
2023-02-28 cs.CL
REV: Information-Theoretic Evaluation of Free-Text Rationales
University of Virginia(弗吉尼亚大学);Allen Institute for AI(艾伦人工智能研究所);University of Southern California(南加州大学);University of Washington(华盛顿大学)
本文提出基于条件 V 信息的 REV 指标,用于量化自由文本理由中超出输入与标签的标签相关新信息,并在四个推理基准上验证其优于现有指标且契合人类判断。
2023-06-02 cs.CL
Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting
Algoverse AI Research(Algoverse人工智能研究院)
本文提出语义自一致性方法,通过在多数投票前结合推理路径的语义信息与最终决策,增强语言模型的推理可靠性与复杂任务表现。
2026-11-04 cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Calibrating Reasoning in Language Models with Internal Consistency
Shanghai Jiao Tong University(上海交通大学);Adobe Research(奥多比研究院);The University of Hong Kong(香港大学)
本文提出用中间层潜在预测的内部一致性衡量 LLM 推理置信度,并据此上调高一致性推理路径权重,从而有效区分推理正误并提升性能。
2024-12-05 cs.AI cs.CL
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
Alibaba Group(阿里巴巴集团);Fudan University(复旦大学);Tsinghua University(清华大学)
本文提出推理一致性度量,结合结果准确性改进生成奖励模型训练,提升RLHF性能并减少欺骗性对齐问题。
2026-02-04 cs.CL
Enhancing Text Annotation through Rationale-Driven Collaborative Few-Shot Prompting
Institute of Artificial Intelligence and Future Networks, Beijing Normal University(北京师范大学人工智能与未来网络研究院);Hong Kong Baptist University(香港浸会大学);BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院);College of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
针对传统文本标注成本高、易有偏差的问题,提出基于推理依据的协同少样本提示技术,经多数据集多模型验证该方法优于传统少样本等基线,为高效文本标注提供框架参考。
2024-09-15 cs.AI cs.CL
Evaluating Role-Consistency in LLMs for Counselor Training
Technische Hochschule Nürnberg Georg Simon Ohm(图林根应用技术大学纽伦堡乔治·西蒙·奥姆学院)
本文通过引入对抗性数据集评估LLM在辅导培训中的角色一致性,比较了Vicuna与其他开源模型的表现。
2026-01-13 cs.AI cs.CL
LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation
Artificial Intelligence Research Center(人工智能研究中心)
本文提出LongDocFACTScore框架及LongSciVerify数据集,用于评估长文档摘要的事实一致性,该框架可扩展至任意长度文档,且与人类判断的相关性优于现有指标。
2024-05-28 cs.AI cs.CL cs.LG
Are Rationales Necessary and Sufficient? Tuning LLMs for Explainable Misinformation Detection
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Tongyi Lab, Alibaba Group(阿里云实验室);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文研究了如何通过调优大语言模型(LLM)来提升可解释性虚假信息检测的性能,提出了一种新的数据合成管道LONSREX,用于定位必要且充分的理性,以解决现有方法中因粗粒度标签和过度验证行为导致的理性不足和冗余问题。
2026-05-19 cs.AI cs.CL cs.CY
Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions
Carnegie Mellon University(卡内基梅隆大学)
本文针对大语言模型在多轮交互中的一致性问题,提出PWC评估指标、MT-Consistency基准数据集以及CARG生成框架,在不牺牲准确率的前提下显著提升响应稳定性。
2025-06-05 cs.AI cs.CL
Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models
School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对多模态大语言模型跨模态知识推理不一致的问题,本文提出四个评估任务并构建新数据集,通过实验分析一致性退化程度及成因,为未来模型改进提供指导。
2025-03-03 cs.AI cs.CL
R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging
Tsinghua University(清华大学);StepFun(阶跃星辰);University of Science and Technology of China(中国科学技术大学)
R-Align通过引入黄金判断和明确监督推理对齐,提高生成奖励模型的推理一致性,从而增强RLHF的性能。
2026-02-06 cs.CL
Cross-Examiner: Evaluating Consistency of Large Language Model-Generated Explanations
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文提出Cross-Examiner方法,结合符号信息提取与语言模型生成后续问题,以评估大语言模型解释的一致性,生成的问题质量更高且更多样化。
2025-03-11 cs.AI cs.CL
Evaluating the Consistency of LLM Evaluators
KAIST AI(韩国科学技术院人工智能学院)
针对LLM评估器一致性研究不足的问题,本文对其自一致性和跨尺度一致性在不同评分尺度、标准粒度及模型类型下开展广泛研究,发现强专有模型未必是一致评估器,强调了一致性对评估LLM评估器能力的重要性。
2024-11-30 cs.CL
STED and Consistency Scoring: A Framework for Evaluating LLM Structured Output Reliability
AWS Generative AI Innovation Center(AWS生成式AI创新中心);AWS WWSO SA Field Initiatives(AWS WWSO SA现场项目)
本文提出STED与一致性评分框架,用于评估LLM结构化输出可靠性,通过实验展示其在不同模型上的表现差异及应用价值。
2025-11-27 cs.AI cs.CL
Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
本研究针对LLMs判断不一致问题,提出基于传递性等三个属性的逻辑偏好一致性评估框架,引入REPAIR技术提升一致性并保持人类偏好对齐,实验证明该框架可反映鲁棒性且改进后算法性能更好。
2025-02-09 cs.AI cs.CL cs.LO
Evidence-Consistent Generative Detection under Scenario-Level Distribution Shift
Sungkyunkwan University(成均馆大学)
针对社会工程欺诈的场景级分布外检测问题,提出ECoG生成式框架,结合证据跨度监督与理由-标签一致性,提升了分布外挑战性实例的检测性能。
2026-08-24 cs.CL
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容,使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发,我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量,表示为$Q^2$,比较答案跨度使用自然语言推理(NLI),而不是基于令牌的匹配,在以前的工作。为了促进正确的评估,我们为维基百科的向导数据集策划了一个新的对话系统输出数据集,并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估,其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
SaGE: Evaluating Moral Consistency in Large Language Models
International Institute of Information Technology Hyderabad (IIITH)(国际信息技术学院海得拉巴分校(IIITH));University of Maryland Baltimore County (UMBC)(马里兰大学巴尔的摩县分校(UMBC))
针对大语言模型存在的道德不一致问题,本研究提出基于经验法则的语义图熵(SaGE)度量方法,构建道德一致性语料库,并验证其在多数据集上的泛化性,发现任务准确率与一致性是独立问题。
2024-03-08 cs.AI cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Beyond Accuracy: Evaluating Self-Consistency of Code Large Language Models with IdentityChain
Columbia University(哥伦比亚大学);IBM Research(IBM研究院)
本文提出 IdentityChain 框架,用于同时评估代码大语言模型的自洽性与传统准确率,并通过研究 11 个模型揭示自洽性缺失问题及三大弱点,证明其可作为调试工具。
2024-02-26 cs.CL cs.LG cs.SE
PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency
KAIST(韩国科学技术院)
本文提出PICon框架,通过逻辑链式的多轮提问评估人设代理的一致性,发现即使之前被认为高度一致的系统在三个维度上也未能达到人类基准水平,揭示了矛盾和逃避回应。
2026-05-19 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Just ClozE! A Novel Framework for Evaluating the Factual Consistency Faster in Abstractive Summarization
Beijing University of Posts and Telecommunications(北京邮电大学);Shamoon College of Engineering(沙蒙工程学院)
本文提出基于完形填空的评估框架ClozE,用于快速评估抽象摘要的事实一致性,在保留QA级可解释性和性能的同时将评估时间减少近96%。
2023-11-28 cs.AI cs.CL
STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs
BML Munjal(BML Munjal(BML蒙贾尔));Indian Institute of Technology, Delhi(印度理工学院德里分校)
本研究针对LLM自我身份一致性评估问题,提出对抗性多智能体框架STEMMA,结合手动设计的对抗性提示开展实验,发现多数LLM存在自我表征不一致的问题。
2026-08-11 cs.AI cs.CL
Evaluating Consistency and Reasoning Capabilities of Large Language Models
School of Computing Science;Engineering Galgotias University Greater Noida, India
本文评估并比较了公开与专有大型语言模型在Boolq数据集上的一致性和推理能力,发现专有模型表现更优,但无一模型在两项指标上达到90%,揭示了一致性与推理的直接相关性及现有模型的推理挑战。
2024-04-25 cs.AI cs.CL
Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学);Facebook AI(脸书人工智能)
当前应用于摘要的预训练模型容易出现事实不一致,要么歪曲源文本,要么引入无关信息。因此,在我们开发改进的模型时,比较摘要的事实一致性是必要的。然而,事实一致性的最佳人类评估设置尚未标准化。为了解决这个问题,我们使用基于评级的李克特量表和基于排名的最佳-最差缩放协议,对来自CNN-每日邮报和XSum数据集的100篇文章进行了众包评估,以确定最可靠的评估框架。我们发现,基于排名的协议提供了一个更可靠的衡量汇总质量的数据集,而李克特评级的可靠性取决于目标数据集和评估设计。我们的众包模板和摘要评估将公开提供,以促进未来对摘要中事实一致性的研究。
2022-07-09 cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research(赛富时研究院)
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督,基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务:1)识别句子在变换后是否保持事实一致,2)在源文档中提取跨度以支持一致性预测,3)在摘要句子中提取不一致的跨度(如果存在的话)。将此模型转换为由几个最先进的模型生成的摘要表明,这种高度可扩展的方法大大优于以前的模型,包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外,人类的评价表明,辅助跨度提取任务提供了有用的帮助,在验证事实的一致性的过程中。
2019-10-28 cs.CL
Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings
University of Passau(帕绍大学)
本文通过宏观经济任务回答的多轮评分实验,检验GPT-4在时间、迭代和风格变化下的评分一致性,发现其ICC达0.94–0.99且能区分内容与风格。
2023-08-03 cs.AI cs.CL
Leak-Resistant Unlearning: A New Benchmark for Evaluating Multi-Hop Reasoning Consistency and Recovery Robustness
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文提出新基准unlearning评估LLM遗忘的鲁棒性,实验发现现有遗忘方法易受多跳推理路径和恢复攻击影响,还探究了遗忘质量、鲁棒性与模型效用的权衡。
2026-08-06 cs.AI cs.CL
Evaluating Spatiotemporal Consistency in Automatically Generated Sewing Instructions
Congree Language Technologies GmbH(Congree语言技术有限公司);Saarland University(萨尔兰大学)
针对LLM生成的逐步缝纫说明,本文提出基于树的自动时空一致性评估指标,证明其更贴合人工错误计数与质量评分,并对文本相似度反事实样本更稳健。
2025-09-29 cs.CL
What's the Catch? Evaluating Temporal Consistency in Vision-Language Models
University of Copenhagen(哥本哈根大学)
本研究提出TimeCatch基准,发现视觉-语言模型可检测单帧异常但难整合跨帧信息,在时间异常检测上表现接近随机水平。
2026-09-15 cs.AI cs.CL cs.CV
Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties
George Mason University(乔治梅森大学);Archimedes/Athena RC, Greece(希腊阿基米德/雅典娜研究中心)
本文评估了LLM-as-a-Judge在跨10个语言簇和60种变体多方言数据集上的毒性检测一致性,发现其最弱环节为LLM与人类的一致性,其次为方言一致性。
2024-11-17 cs.CL
Evaluating text coherence based on the graph of the consistency of phrases to identify symptoms of schizophrenia
Taras Shevchenko National University of Kyiv(基辅塔拉斯·舍甫琴科国立大学)
分析了基于文本连贯性估计的精神分裂症症状检测的不同方法。建议在短语层面上对语篇进行分析。提出了基于短语一致性图的语篇语义连贯性和衔接性评价方法。语义连贯性,衔接,和其他语言特征(词汇多样性,词汇密度)已被考虑到形成特征向量的训练模型分类器。分类器的训练已经在英语访谈集上进行。根据检索结果,分析了各特征对模型输出的影响。实验结果表明,基于短语一致性图的方法可用于不同的精神疾病检测任务。
2020-05-06 cs.CL cs.IR
MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing
Hong Kong University of Science and Technology(香港科技大学)
Text-to-SQL是从人类话语生成SQL查询的任务。然而,由于自然语言的变异性,两个语义等价的话语在词汇层面上可能会出现不同的表现。同样,用户偏好(例如,范式的选择)在表达概念上相同的模式时可能导致表结构的显著变化。设想文本到SQL模型的一般困难,以保持预测的一致性对语言和模式的变化,我们提出了MT-Teql,一个基于变形测试的框架,系统地评估和增强的一致性TEXT到SQL模型。受软件变形测试原理的启发,MT-Teql提供了一个与模型无关的框架,该框架实现了一组全面的变形关系(MR),以进行对话语和模式的语义保持转换。当原始输入和转换后的输入导致不同的SQL查询时,可能会暴露模型不一致性。此外,我们利用转换后的输入来重新训练模型,以进一步提高模型的鲁棒性。我们的实验表明,我们的框架暴露了SOTA模型的数千个预测错误,并按数量级丰富了现有数据集,消除了超过40%的不一致性错误,而不影响标准准确性。
2020-12-21 cs.CL cs.SE
DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models
Intuit(Intuit公司);Intuit AI Research(Intuit人工智能研究院);Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本文提出DCR框架,通过分治评估器(DCE)、自动指标转换器(AMC)和原因辅助改进器(RAI)来评估并改进LLM生成文本的一致性,在多个基准上大幅超越现有方法并减少近90%的输出不一致。
2024-01-04 cs.AI cs.CL
TRUE: Re-evaluating Factual Consistency Evaluation
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Meta AI
固定文本生成系统通常生成包含事实不一致的文本,这阻碍了它们在现实世界中的适用性。自动事实一致性评估可以通过加速评估周期、过滤不一致的输出和增加训练数据来帮助缓解这种限制。虽然吸引了越来越多的关注,但这些评估指标通常是针对单个任务或数据集在孤岛中开发和评估的,这减缓了它们的采用。此外,以前的元评估协议侧重于系统级与人类注释的相关性,这使得这些指标的示例级准确性不清楚。在这项工作中,我们介绍真:一个全面的调查和评估的事实一致性指标的标准化收集现有的文本从不同的任务,手动注释的事实一致性。我们的标准化实现了一个示例级的元评估协议,该协议比以前报告的相关性更具可操作性和可解释性,从而产生更清晰的质量指标。在各种最先进的指标和11个数据集中,我们发现大规模的NLI和基于问题生成和回答的方法实现了强大和互补的结果。我们推荐这些方法作为模型和度量开发人员的起点,并希望TRUE将促进更好的评估方法的进展。
2022-05-03 cs.CL
Contradiction Detection in RAG Systems: Evaluating LLMs as Context Validators for Improved Information Consistency
Amazon(亚马逊公司)
本研究提出数据生成框架模拟RAG系统中的矛盾信息,并评估多种LLM作为上下文验证器的检测能力,发现大模型表现更优但提示策略效果因模型而异,指出上下文验证仍具挑战性。
2025-03-31 cs.AI cs.CL