From Understanding to Generation: An Efficient Shortcut for Evaluating Language Models
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本研究通过将耗时的生成式任务(NLG)重新表述为计算成本更低的理解式任务(NLU),在4种能力和8个模型上验证了任务格式间的强相关性,实现了超过35倍的评估时间缩减,为LLM训练期间的能力监测提供了高效捷径。
2025-09-16 cs.CL
Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis
Jožef Stefan Institute(约热夫·斯泰凡研究所);Queen Mary University of London(伦敦玛丽女王大学)
本文研究零样本跨语言新闻情感检测,提出利用段落级信息的新任务目标POA,并对比机器翻译、上下文学习等方法,证明POA能以更低计算开销取得有竞争力的性能提升。
2024-09-30 cs.AI cs.CL
Towards Optimizing and Evaluating a Retrieval Augmented QA Chatbot using LLMs with Human in the Loop
School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
本研究针对HR支持场景,与SAP SE专家合作开发引入人在回路机制的大语言模型检索增强问答聊天机器人,验证了GPT-4的性能优势及G-Eval、Prometheus无参考评估指标的可靠性。
2024-07-08 cs.AI cs.CL
Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks
研究在纵向数据准备任务中评估开放权重的大语言模型,介绍开源框架,含真实数据集、任务定义和评估程序,通过基准测试发现当前先进模型表现良好,为治理受限研究中的AI辅助数据准备提供可行路径。
2026-07-27 cs.AI cs.CL
Evaluating Consistencies in LLM responses through a Semantic Clustering of Question Answering
Dongguk University(东国大学)
本文提出一种基于语义聚类的LLM响应一致性评估方法,并在TruthfulQA数据集上比较RAG与Zero-shot-CoT对37类问答任务一致性的影响。
2024-10-20 cs.AI cs.CL
Evaluating Prompt Engineering Strategies for Sentiment Control in AI-Generated Texts
German Aerospace Center (DLR), Institute of Software Technology, Cologne, Germany(德国航空航天中心(DLR),软件技术研究所,科隆,德国)
本文通过提示工程策略有效控制AI生成文本情感,相较于微调方法更具成本效益和实用性,尤其在数据受限环境下表现突出。
2026-02-06 cs.CL
evalSmarT: An LLM-Based Framework for Evaluating Smart Contract Generated Comments
SnT – University of Luxembourg(卢森堡大学SnT学院);Université Cheikh Anta Diop(谢赫·安塔·迪奥普大学);Huawei(华为)
针对智能合约生成注释评估的现有指标缺陷与人工评估局限,提出基于大语言模型的模块化可扩展框架evalSmarT,支持超400种评估配置,验证了提示设计的重要性与该评估方案的可行性。
2025-07-28 cs.AI
Evaluating LLMs in Medicine: A Call for Rigor, Transparency
Duke University Hospital System(杜克大学医院系统)
本文评估了医学问答中LLM评估数据集的局限性,发现现有数据集缺乏临床真实性与稳健验证,呼吁建立标准化框架并加强多方协作以实现严谨无偏的评估。
2025-07-11 cs.CL
Line Goes Up? Inherent Limitations of Benchmarks for Evaluating Large Language Models
The University of Melbourne(墨尔本大学)
本文从理论与实证角度论证基准范式及现有基准的局限,指出基准成绩不能可靠衡量LLM的一般认知与可泛化能力,并强调对抗性刺激和可解释性评估的重要性。
2025-02-20 cs.AI cs.CL cs.LG
A Causal Lens for Evaluating Faithfulness Metrics
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出因果诊断性框架,用于评估自然语言解释的忠实度度量,通过生成忠实-不忠实解释对,发现Filler Tokens在多任务中表现最佳,连续度量更优但易受噪声影响。
2025-12-24 cs.AI cs.CL cs.LG
Evaluating LLM-Based Grant Proposal Review via Structured Perturbations
本文通过结构化扰动评估基于LLM的项目评审,发现逐部分分析方法在检测和评分可靠性上表现最佳,但LLM反馈存在偏颇,需进一步优化。
2026-03-11 cs.AI cs.CL cs.CY
SynClaimEval: A Framework for Evaluating the Utility of Synthetic Data in Long-Context Claim Verification
University of Pittsburgh(匹兹堡大学);Zillow Inc.(Zillow公司)
该研究针对长上下文主张验证中合成数据效用评估的需求,提出SynClaimEval框架,从输入特征、合成逻辑和解释质量三方面评估,实验证明其能提升模型验证性能和解释质量,为相关任务提供可扩展数据方案。
2025-11-12 cs.CL
Can Decision Models Understand Stance? Evaluating Jev Against General-Purpose LLMs
Dalian Maritime University(大连海事大学);Dalian University of Technology(大连理工大学)
本研究评估专用决策模型Jev在立场检测任务上的表现,对比通用LLMs及微调模型,发现Jev在英文数据集VAST上具竞争力但在中文对话数据集ZS-CSD上存在局限,凸显其潜力与不足。
2026-10-09 cs.CL
Evaluating Search Engines and Large Language Models for Answering Health Questions
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本研究比较了搜索引擎、大型语言模型及RAG变体在回答150个健康问题上的表现,发现LLMs准确率更高,RAG方法能显著提升较小LLMs的准确率。
2025-03-06 cs.AI cs.IR
Evaluating Bivariate Causal Statements Based on Mutual Compatibility
California Institute of Technology, USA(加州理工学院,美国)
针对一组变量上的双变量因果陈述,提出基于兼容性分数的评估方法,通过量化因果模型引入的额外混杂程度或全局一致性约束来区分正确与错误的因果陈述,并应用于大语言模型生成的因果主张。
2026-05-29 cs.AI
Evaluating Large Language Models at Evaluating Instruction Following
Tsinghua University(清华大学);Princeton University(普林斯顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 LLMBar 元评价基准,通过 419 对具有迷惑性的指令遵循/偏离输出检验 LLM 评价器,并给出提示策略以缩小其与人类评价的差距。
2024-04-16 cs.CL cs.LG
Evaluating Small Decoder-Only Language Models for Grammar Correction and Text Simplification
New York University(纽约大学)
本文评估了小型解码器-only语言模型在语法纠正和文本简化任务中的性能,发现其在效率上有优势,但性能仍低于现有大型语言模型,需进一步改进以缩小差距。
2026-01-07 cs.CL
MedBench-IT: A Comprehensive Benchmark for Evaluating Large Language Models on Italian Medical Entrance Examinations
University of Graz(格拉茨大学);OnePix Academy(OnePix学院)
针对意大利医学入学考试,构建包含17,410道题、覆盖六科目三难度的首个综合基准MedBench-IT,评估专有及开源大模型,并分析复现性、排序偏差与可读性影响。
2025-09-08 cs.CL
Evaluating the Reliability of Self-Explanations in Large Language Models
Stockholm University(斯德哥尔摩大学);Athens University of Economics and Business(雅典经济与商业大学);Archimedes/Athena RC(阿基米德/雅典娜研究中心)
本文评估了大型语言模型在分类任务中生成的抽取式和反事实式自我解释的可靠性,发现反事实解释能弥补感知与实际推理间的差距,提供比传统方法更忠实的替代方案。
2025-01-31 cs.CL
Evaluating Large Language Models as Expert Annotators
National Taiwan University(台湾大学);Virginia Tech(弗吉尼亚理工大学);University of Virginia(弗吉尼亚大学);AIST, Japan(日本产业技术综合研究所);AINTU, Taiwan(台湾人工智能技术研究所)
本文评估了LLMs在金融、生物医学和法律领域作为专家标注者的表现,提出多智能体讨论框架并引入推理模型,发现推理技术收益有限且多智能体环境下存在模型固执己见等行为。
2025-08-11 cs.CL
Patched RTC: evaluating LLMs for diverse software development tasks
Patched Codes, Inc(Patched Codes公司)
本文提出Patched RTC评估框架,通过无需人工干预的自我评估衡量LLM在错误修复等软件开发任务中的一致性,并证明其能有效区分模型性能与任务难度,为提示优化和模型选择提供指导。
2025-04-29 cs.AI cs.SE
Evaluating the Simulation of Human Personality-Driven Susceptibility to Misinformation with LLMs
IMT School for Advanced Studies Lucca(IMT高级研究学院卢塞拉)
本文评估了LLM在模拟基于人格特质的易受虚假信息影响方面的有效性,发现某些人格特质与虚假信息的关联可被复制,但其他情况存在系统偏差,揭示了LLM在人格建模中的潜力与局限。
2025-06-30 cs.CL cs.CY
Beyond Accuracy: Evaluating Strategy Diversity in LLM Mathematical Reasoning
University of Toronto(多伦多大学);Upper Canada College(上加拿大学院);East China Normal University(华东师范大学)
研究探讨了大语言模型在数学推理中策略多样性与准确性之间的关系,发现策略多样性是评估数学推理的重要补充维度。
2026-05-10 cs.AI cs.CY
Evaluating Speech-to-Text x LLM x Text-to-Speech Combinations for AI Interview Systems
University of Southern California(南加州大学);Stanford University(斯坦福大学)
本文基于30余万场AI面试数据,系统比较五种STT×LLM×TTS级联架构,发现Google STT+GPT-4.1+Cartesia TTS组合最优,并揭示客观质量指标与用户满意度相关性较弱,为多模态对话组件选择提供实证依据。
2025-08-21 cs.CL eess.AS
Evaluating Webcam-based Gaze Data as an Alternative for Human Rationale Annotations
University of Copenhagen(哥本哈根大学);Technische Universität Berlin(柏林工业大学);IT University of Copenhagen(哥本哈根信息技术大学);University of Zurich(苏黎世大学)
本文研究网络摄像头眼动数据能否替代人工原理标注,通过WebQAmGaze数据集比较多语言Transformer模型的重要性分数,发现注视数据可揭示语言信息并给出相近的方法排序。
2024-02-29 cs.CL
Investigating the Failure Modes of the AUC metric and Exploring Alternatives for Evaluating Systems in Safety Critical Applications
Arizona State University(亚利桑那州立大学)
随着与黑盒模型的使用相关的安全要求的重要性的增加,模型的选择性应答能力的评估已经变得至关重要。曲线下面积(AUC)用作该目的的度量。我们发现AUC的局限性;例如,具有较高AUC的模型在执行选择性应答时并不总是更好。我们提出了三个替代指标,修复已确定的限制。在对10个模型进行实验时,我们使用新指标的结果表明,更新和更大的预训练模型不一定在选择性回答中表现出更好的性能。我们希望我们的见解将有助于开发更好的模型,为安全关键型应用量身定制。
2022-10-10 cs.CL cs.CV
Evaluating Multilingual Gisting of Web Pages
我们描述了一个原型系统的多语言gisting的网页,并提出了一个评估方法的基础上的概念gisting的决策支持。这一评价模式直截了当、严谨,可以对各种备选办法进行公平比较,而且很容易推广到其他情况下的评价,在这种情况下,使用者需要根据有限的或备选形式的信息作出决策。
1997-04-07 cmp-lg cs.CL
Exploring Gap Filling as a Cheaper Alternative to Reading Comprehension Questionnaires when Evaluating Machine Translation for Gisting
Universitat d’Alacant(阿利坎特大学);Univ. of Sheffield(谢菲尔德大学);Univ. Edinburgh(爱丁堡大学)
机器翻译(MT)的一个流行应用是编译:MT被用来理解外语文本。对机器翻译的有用性进行评估是令人惊讶的罕见。经典的方法是使用阅读理解问卷(RCQ),其中要求被调查者回答用他们的语言写的关于机器翻译成他们语言的外国文本的专业问题。最近,填空(gap-filling,GF),完形填空的一种形式,被认为是RCQ的一种廉价的替代方法。在GF中,某些单词被从参考翻译中删除,读者被要求使用机器翻译的文本作为提示来填补留下的空白。本文首次使用RCQ和GF对同一篇外语文本的多个机器翻译系统的译文进行了对比评估,并系统地研究了GF中的空缺密度、空缺选择策略和文本语境等变量的影响。该研究的主要发现是:(a)RCQ和GF都明确指出机器翻译是有用的,(b)机器翻译系统的全球RCQ和GF排名基本一致,(c)GF得分在不同的受访者之间差异很大,很难在机器翻译系统之间进行比较,(d)与RCQ不同,RCQ是围绕文件进行的,GF评估可以在句子层面进行。这些发现支持使用GF作为RCQ的更便宜的替代品。
2018-09-02 cs.CL
Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete?
School of Computing and Information Science, University of Maine(缅因大学计算与信息科学学院)
本文分析 Stack Overflow 隐私问题类型,并比较已采纳回答与 ChatGPT 回答,发现 ChatGPT 在约 56% 的问题上正确性相近,其余情况略逊。
2023-06-19 cs.AI cs.CL cs.SE
Evaluating Indirect Strategies for Chinese-Spanish Statistical Machine Translation
Institute for Infocomm Research(信息通信研究所)
尽管汉语和西班牙语是世界上使用最多的两种语言,但对这两种语言的机器翻译研究并不多。统计机器翻译是当今最流行的机器翻译方法之一。为了这个目的,我们报告的细节,可用的平行语料库是基本的旅行者表达语料库(BTEC),圣经和联合国(UN)。此外,我们进行了实验工作,这三个语料库中最大的探索替代SMT策略,通过使用枢轴语言。三种替代方案被认为是枢:级联,伪语料库和三角测量。作为枢纽语言,我们使用英语,阿拉伯语或法语。结果表明,对于一个基于短语的SMT系统,英语是最好的枢纽语言之间的中文和西班牙语。我们提出了一个系统的输出组合使用枢轴策略,这是能够优于直接翻译策略。这项工作的主要目标是激励和参与研究界在这对重要的语言工作,因为它们的人口影响。
2014-02-04 cs.CL
Evaluating Language Model Agency through Negotiations
EPFL(瑞士联邦理工学院);UGA(普罗万大学);CNRS(法国国家科学研究中心);LIG(里莫恩-盖朗实验室);Stanford University(斯坦福大学)
通过谈判游戏评估语言模型的代理能力,发现封闭源模型更擅长完成任务,合作谈判游戏最具挑战性,且强模型可能输给弱对手。
2026-02-18 cs.AI cs.CL cs.LG
Evaluating semantic models with word-sentence relatedness
The Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
语义文本相似度(STS)系统被设计用于编码和评估单词、短语、句子和文档之间的语义相似度。评估这些系统中编码的语义信息的质量或真实性的一种方法是与人类判断进行比较。开发了一个用于评估语义模型的数据集,由775个英语单词-句子对组成,每个单词-句子对由参与最大差异缩放(MDS)任务的人类评分员注释语义相关性,以及更快的替代任务。作为这种相关性数据的一个示例应用,将基于行为的相关性与通过四种现成的STS模型计算的相关性进行了比较:n-gram,潜在语义分析(LSA),Word 2 Vec和UMBC Ebiquity。一些STS模型捕捉到了收集到的人类判断中的大部分差异,但它们对参与者处理和考虑的含义和蕴涵并不敏感。所有的文本刺激和判断数据都是免费提供的。
2017-01-03 cs.CL
Evaluating Text-to-Image Matching using Binary Image Selection (BISON)
University of Southern California(南加州大学);Facebook AI Research(Facebook人工智能研究院)
为系统提供关联语言和视觉内容的能力是计算机视觉的标志之一。任务,如基于文本的图像检索和图像描述的目的是测试这种能力,但与评估措施,有很大的差异或难以解释。我们研究了一个替代的任务,匹配文本和图像的系统:给定一个文本查询,系统被要求从一对语义相似的图像中选择最匹配的查询的图像。该系统的准确性,这个二进制图像选择(BISON)的任务是可解释的,消除了检索评估的可靠性问题,并专注于系统的能力,以了解细粒度的视觉结构。我们收集了一个BISON数据集,补充COCO数据集,并使用它来评估现代基于文本的图像检索和图像描述系统。我们的研究结果为这些系统的性能提供了新的见解。COCO-BISON数据集和相应的评估代码可从\url{http://hexianghu.com/bison/}公开获得。
2019-04-05 cs.AI cs.CL cs.CV
Evaluating Discourse in Structured Text Representations
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
语篇结构对于理解文本是不可或缺的,并且在许多NLP任务中很有帮助。学习话语的潜在表征是获取昂贵的标记话语数据的一个有吸引力的替代方案。Liu和Lapata(2018)提出了一种用于文本分类的结构化注意力机制,该机制在文本上生成一棵树,类似于一棵文本话语树。我们详细研究了这个模型,并对其他与话语相关的任务和数据集进行了评估,以评估结构化注意是否能提高最终任务的性能,以及它是否能捕捉到文本的话语结构。我们发现学习的潜在树几乎没有结构,而是专注于词汇线索;即使在获得更具结构化的树与建议的模型修改,树仍然远远不能捕捉话语结构时,从现有的话语分析器的话语依赖树相比。最后,消融研究表明,结构化注意提供的好处很少,有时甚至损害性能。
2019-06-10 cs.CL
On the use of human reference data for evaluating automatic image descriptions
Tilburg University(蒂尔堡大学)
自动图像描述系统通常使用众包、人类生成的图像描述进行训练和评估。然后使用与参考数据(BLEU,Meteor,CIDER等)的某种相似性度量来确定性能最佳的系统。因此,系统的质量以及评价的质量都取决于描述的质量。如第2节所示,当前图像描述数据集的质量不足。我认为,有必要更详细的指导方针,考虑到视障用户的需求,但也产生合适的描述的可行性。有了高质量的数据,图像描述系统的评估可以使用参考描述,但我们也应该寻找替代品。
2020-06-15 cs.CL cs.CV cs.HC
Evaluating Fine-Tuning Efficiency of Human-Inspired Learning Strategies in Medical Question Answering
University of Oxford(牛津大学)
本研究评估五种人类启发策略在医学问答微调中的效率,发现交错策略平均最佳,但最佳策略因模型数据集组合而异,且LLM定义难度优于人工标签。
2024-11-05 cs.CL
Evaluating the Efficacy of Open-Source LLMs in Enterprise-Specific RAG Systems: A Comparative Study of Performance and Scalability
Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文比较多种开源 LLM 与开源嵌入在基于企业网站数据的 RAG 框架中的集成表现,证明其可显著提升准确性与效率,是专有方案的可行替代。
2024-06-17 cs.CL cs.IR
Don't Forget Your ABC's: Evaluating the State-of-the-Art in Chat-Oriented Dialogue Systems
Emory University(埃默里大学)
本文提出了一种新颖的人工评估方法,用于估计多种对话系统行为的发生率,对四个最先进的开放域对话系统进行维度评估,证明其比Likert风格或比较方法更合适。
2023-07-28 cs.CL
Tailoring and Evaluating the Wikipedia for in-Domain Comparable Corpora Extraction
DFKI GmbH(德国人工智能研究中心);Università di Bologna(博洛尼亚大学);Qatar Computing Research Institute (QCRI-HBKU)(卡塔尔计算研究所(QCRI-HBKU));Amazon(亚马逊)
我们提出了一个自动的语言无关的基于图的方法来建立点菜的文章集合从维基百科上的用户定义的域。核心模型是基于对百科全书的类别图的探索,可以产生单语和多语种的可比集合。我们进行了全面的实验,以评估所获得的语料库的质量在10种语言和743个领域。根据广泛的手动评估,我们的基于图的模型优于基于检索的方法,并达到84%的平均精度域内的文章。由于手工评估成本很高,我们引入了“领域性”的概念,并设计了几个自动度量来说明集合的质量。我们最好的度量领域性显示出很强的相关性与人类判断的精度,代表了一个合理的自动替代评估特定领域语料库的质量。我们发布了WikiTailor工具包,其中包括提取方法,评估措施和几个实用程序的实施。WikiTailor使得从维基百科获取多语言的域名内数据变得容易。
2020-05-03 cs.CL cs.IR
Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering
Carnegie Mellon University(卡内基梅隆大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术学院);Unbabel
提出TREQA框架,通过评估候选翻译回答阅读理解问题的准确度来外在评估段落级翻译质量,在文学等长文本领域表现优于现有指标并提供可解释性。
2025-08-11 cs.CL cs.LG