Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
评估数据到文本(D2T)生成的一个主要挑战是测量所生成文本的语义准确性,即检查输出文本是否包含输入数据支持的所有且唯一事实。我们提出了一种新的度量标准,用于评估基于自然语言推理(NLI)预训练的神经模型的D2T生成的语义准确性。我们使用NLI模型在两个方向上检查输入数据和输出文本之间的文本蕴涵,允许我们揭示遗漏或幻觉。使用简单模板将输入数据转换为NLI的文本。我们在两个最近的D2T数据集上的实验表明,我们的度量在识别错误的系统输出时可以达到很高的准确性。
2020-11-21 cs.CL
Text-to-Audio Grounding Based Novel Metric for Evaluating Audio Caption Similarity
TCS Research, Tata Consultancy Services Limited(塔塔咨询服务有限公司TCS研究院)
自动音频字幕(AAC)是指将音频样本翻译成描述音频事件、事件来源及其关系的自然语言(NL)文本的任务。与依赖于基于词汇语义的BLEU、ROUGE、METEOR等指标进行评估的NL文本生成任务不同,AAC评估指标需要能够映射与词汇语义之外的类似声音相对应的NL文本(短语)。目前用于评估AAC任务的指标缺乏对文本所表示的声音的感知属性的理解。在本文中,我们提出了一种新的度量基于文本到音频接地(TAG),这是有用的跨模态任务,如AAC的评估。公开可用的AAC数据集上的实验表明,我们的评价指标,以执行更好的NL文本和图像描述文献中使用的现有指标相比。
2022-10-03 cs.AI cs.CL cs.SD
A Gold Standard Methodology for Evaluating Accuracy in Data-To-Text Systems
University of Aberdeen(阿伯丁大学)
大多数自然语言生成系统需要生成准确的文本。我们提出了一种高质量的人工评估生成的文本的准确性,这是为了作为一个金标准的数据到文本系统的准确性评估的方法。我们使用我们的方法来评估计算机生成的篮球摘要的准确性。然后,我们将展示如何使用我们的黄金标准评估来验证自动化指标
2020-11-08 cs.CL
Evaluating Text GANs as Language Models
Tel-Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
生成对抗网络(GANs)是一种很有前途的文本生成方法,与传统的语言模型(LM)不同,它不会受到"暴露偏差“问题的困扰。然而,理解GANs用于文本生成的潜力的一个主要障碍是缺乏明确的评估指标。在这项工作中,我们提出了近似的分布由GAN,这允许评估他们与传统的基于概率的LM指标生成的文本。我们将我们的近似程序应用于几个基于GAN的模型,并表明它们目前的性能比最先进的LM差得多。我们的评估过程促进了对GANs和LM之间关系的更好理解,并可以加速基于GAN的文本生成的进展。
2019-03-24 cs.CL
Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation
International Institute of Information Technology, Bhubaneswar(布巴内斯瓦尔国际信息技术学院);Salesforce India Pvt Ltd(Salesforce印度私人有限公司)
研究旨在量化文本摘要抽象性,引入RA、SA和AR度量,利用文档长度调和平均及非重叠因子公式,在四个模型上评估100个XSUM文档,成功区分提取式与抽象式模型,抽象率可识别需人工评估的摘要。
2026-07-14 cs.AI cs.CL
Handling Divergent Reference Texts when Evaluating Table-to-Text Generation
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
用于从半结构化数据(表)生成文本的自动构建数据集(如WikiBio)通常包含与相应半结构化数据中的信息不同的参考文本。我们发现,仅依赖于参考文本的指标,如BLEU和ROUGE,显示与人类判断的相关性差时,这些参考分歧。我们提出了一个新的度量标准,PANGOLD,它将参考和生成的文本中的n元语法与半结构化数据对齐,然后计算它们的精确度和召回率。通过对WikiBio的表到文本模型的大规模人类评估研究,我们表明,PANEL与人类判断的相关性优于现有的文本生成指标。我们还调整和评估了Wiseman等人(2017)提出的基于信息抽取的评估,并表明PAdom与它具有可比的相关性,同时更容易使用。我们表明,PANEL也适用于当参考文本是从人类使用的数据从WebNLG挑战。
2019-06-03 cs.CL
MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance
Technische Universität Darmstadt(达姆施塔特工业大学);University of Central Florida(中佛罗里达大学)
一个健壮的评价指标对文本生成系统的发展有着深远的影响。一个理想的度量比较系统输出和参考的基础上,他们的语义,而不是表面形式。在本文中,我们研究的策略,编码系统和参考文本设计一个度量,显示了高度相关性与人类判断的文本质量。我们验证了我们的新指标,即MoverScore,在一些文本生成任务,包括摘要,机器翻译,图像描述,和数据到文本的生成,其中的输出是由各种神经和非神经系统。我们的研究结果表明,结合上下文表示与距离测量的指标表现最好。这样的度量还展示了跨任务的强大泛化能力。为了便于使用,我们将指标作为Web服务提供。
2019-09-26 cs.CL
BERTScore: Evaluating Text Generation with BERT
Cornell University(康奈尔大学);ASAPP Inc(ASAPP公司)
我们提出了BERTScore,一个自动评估文本生成的度量。类似于常见的度量,BERTScore计算候选句子中的每个标记与参考句子中的每个标记的相似性得分。然而,我们使用上下文嵌入来计算令牌相似度,而不是精确匹配。我们使用363机器翻译和图像描述系统的输出进行评估。BERTScore更好地与人类判断相关,并提供比现有指标更强的模型选择性能。最后,我们使用了一个对抗性的释义检测任务,以表明BERTScore与现有的指标相比,对具有挑战性的示例更具鲁棒性。
2020-02-24 cs.CL
All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated Text
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
人类评估通常被认为是自然语言生成的黄金标准,但随着模型流畅性的提高,评估人员如何检测和判断机器生成的文本?我们进行了一项研究,评估非专家在三个领域(故事,新闻文章和食谱)区分人类和机器创作的文本(GPT2和GPT3)的能力。我们发现,在没有训练的情况下,评估者在随机机会水平上区分GPT3和人类创作的文本。我们探索了三种方法来快速训练评估者,以更好地识别GPT3作者的文本(详细说明,注释示例和配对示例),并发现虽然评估者的准确率提高了55%,但在三个领域中并没有显着提高。鉴于文本域之间的结果不一致,以及评估人员为他们的判断给出的往往相互矛盾的原因,我们研究了未经训练的人类评估在NLG评估中的作用,并为NLG研究人员提供了改进人类对从最先进的模型生成的文本的评估的建议。
2021-07-07 cs.CL
BARTScore: Evaluating Generated Text as Text Generation
Carnegie Mellon University(卡内基梅隆大学)
各种各样的NLP应用,如机器翻译、摘要和对话,都涉及文本生成。这些应用程序面临的一个主要挑战是如何评估这些生成的文本是否真正流畅,准确或有效。在这项工作中,我们将生成文本的评估概念化为文本生成问题,使用预先训练的序列到序列模型进行建模。一般的想法是,当生成的文本更好时,被训练用于将生成的文本转换为参考输出或源文本的模型将获得更高的分数。我们使用BART(一种基于编码器-解码器的预训练模型)实现了这一想法,并提出了一种具有许多变体的度量BARTScore,这些变体可以以无监督的方式灵活地应用于从不同角度(例如信息量,流畅性或真实性)评估文本。BARTScore概念简单,经验有效。它可以在22个测试设置中的16个中超越现有的最高评分指标,涵盖16个数据集的评估(例如,机器翻译,文本摘要)和7个不同的视角(例如,信息性、真实性)。计算BARTScore的代码可以在https://github.com/neulab/BARTScore上找到,我们还在ExplainaBoard平台上的http://explainaboard.nlpedia.ai/leaderboard/task-meval/上发布了一个交互式的元评估排行榜,它允许我们交互式地了解每个指标的优势,劣势和互补性。
2021-10-27 cs.CL
Re-evaluating Evaluation in Text Summarization
Carnegie Mellon University(卡内基梅隆大学)
自动评估指标作为手动评估的替代,是文本生成任务(如文本摘要)开发的重要组成部分。然而,虽然该领域已经取得了进展,但我们的标准指标却没有-近20年来,ROUGE一直是大多数摘要论文的标准评估。在本文中,我们试图重新评估文本摘要的评估方法:使用最高评分的系统输出,抽象和提取,最近流行的系统级和摘要级评估设置的数据集,评估自动度量的可靠性。我们发现,关于旧数据集的评估指标的结论不一定适用于现代数据集和系统。
2020-10-14 cs.CL cs.IR cs.LG
How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
当前的语言模型可以生成高质量的文本。他们只是简单地复制他们以前看过的文本,还是他们学会了概括的语言抽象?为了梳理除了这些可能性,我们介绍了RAVEN,一套分析,用于评估生成的文本的新颖性,专注于顺序结构(n-gram)和句法结构。我们将这些分析应用于四个神经语言模型(LSTM,Transformer,Transformer-XL和GPT-2)。对于本地结构-例如,个体依赖性-模型生成的文本基本上不如我们从每个模型的测试集中人工生成的文本的基线新颖。对于较大规模的结构,例如,整体句子结构-模型生成的文本与人类生成的基线一样新颖,甚至更新颖,但模型有时仍然大量复制,在某些情况下,从训练集中复制超过1,000个单词的段落。我们还进行了大量的手动分析,表明GPT-2的小说文本通常在形态和句法上都是格式良好的,但有相当频繁的语义问题(例如,自相矛盾)。
2021-11-18 cs.CL
Beyond Factual Accuracy: Evaluating Coverage of Diverse Factual Information in Long-form Text Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Salzburg University of Applied Sciences(萨尔茨堡应用科学大学)
本文提出ICAT评估框架,通过分解原子声明并验证事实与多维度对齐度,全面评估长文本生成中多样化事实信息的覆盖度,支持可解释的细粒度分析。
2025-05-31 cs.CL
Extract, Denoise and Enforce: Evaluating and Improving Concept Preservation for Text-to-Text Generation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学);Tsinghua University(清华大学)
以前关于文本到文本生成的研究通常假设模型可以通过seq2seq学习来弄清楚输入中要注意什么以及输出中要包括什么,只有并行训练数据而没有额外的指导。然而,目前尚不清楚当前模型是否可以保留源输入中的重要概念,因为seq2seq学习没有明确关注概念,并且常用的评估指标也将概念视为与其他令牌同等重要。在本文中,我们提出了一个系统的分析,研究目前的seq2seq模型,特别是预训练的语言模型,是否足以保存重要的输入概念,并在何种程度上明确指导生成的概念作为词汇约束是有益的。我们回答上述问题进行广泛的分析实验上的四个代表性的文本到文本生成任务。根据观察,我们提出了一个简单而有效的框架,自动提取,去噪,并执行重要的输入概念作为词汇约束。这种新的方法比其不受约束的自动度量更好地执行,展示了更高的覆盖率的概念保存,并收到更好的评级,在人类的评价。我们的代码可在https://github.com/morningmoni/EDE上获得。
2021-09-03 cs.CL
Shared Task on Evaluating Accuracy in Natural Language Generation
University of Aberdeen(阿伯丁大学)
我们提出了一个共同的任务方法和算法,用于评估生成的文本的准确性。参与者将测量NLG系统从篮球框得分数据中生成的篮球比赛摘要的准确性。
2020-11-06 cs.CL
CheckEval: A reliable LLM-as-a-Judge framework for evaluating text generation using checklists
Boston University(波士顿大学);SK Telecom(SK电讯);Seoul National University(首尔大学);KAIST(韩国科学技术院);NAVER(NAVER公司)
针对现有LLM-as-a-Judge方法评分不一致的问题,提出基于清单的评估框架CheckEval,通过分解二值问题提升评分可靠性,实验证明其与人类判断高度相关,且显著提升了评估模型间的一致性并降低方差。
2025-10-31 cs.CL
Evaluating LLMs and Pre-trained Models for Text Summarization Across Diverse Datasets
Jadavpur University(贾达沃普尔大学);Indian Association for the Cultivation of Science(印度科学促进协会);Techno India University(泰克诺印度大学)
本文在五个多样化数据集上使用 ROUGE、BERTScore 和 METEOR 等指标,系统评估 BART、FLAN-T5、LLaMA-3-8B 与 Gemma-7B 的文本摘要能力及优劣。
2025-03-13 cs.CL
Evaluating the Smooth Control of Attribute Intensity in Text Generation with LLMs
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出评估大语言模型文本生成中属性强度平滑控制的指标与基于Elo和GPT4的评估框架,并比较了语义转换提示和修改内部表示两种免训练控制方法。
2024-06-06 cs.CL
Sentence Smith: Controllable Edits for Evaluating Text Embeddings
University of Zurich(苏黎世大学)
Sentence Smith通过可控编辑生成文本,用于评估文本嵌入模型的细粒度性能。
2025-11-24 cs.CL
VERISCORE: Evaluating the factuality of verifiable claims in long-form text generation
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);UMass Amherst(马萨诸塞大学阿默斯特分校);Department of Linguistics(语言学系)
VERISCORE是一种评估长文本生成中可验证声明事实性的新指标,适用于包含可验证与不可验证内容的多样化任务,支持闭源与开源权重模型,揭示不同任务间事实性表现无必然相关性。
2024-06-27 cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research(赛富时研究院)
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督,基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务:1)识别句子在变换后是否保持事实一致,2)在源文档中提取跨度以支持一致性预测,3)在摘要句子中提取不一致的跨度(如果存在的话)。将此模型转换为由几个最先进的模型生成的摘要表明,这种高度可扩展的方法大大优于以前的模型,包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外,人类的评价表明,辅助跨度提取任务提供了有用的帮助,在验证事实的一致性的过程中。
2019-10-28 cs.CL
Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text
University of Pennsylvania(宾夕法尼亚大学)
随着由大语言模型生成的文本的激增,了解人类如何与这些文本互动,以及他们是否能够检测到他们正在阅读的文本何时不是来自人类作者变得至关重要。先前关于生成文本的人类检测的工作集中在整个段落是人类书写或机器生成的情况下。在本文中,我们研究了一个更现实的设置,文本开始作为人类书写和过渡到正在生成的最先进的神经语言模型。我们发现,虽然注释者经常在这项任务中挣扎,但注释者的技能存在很大差异,并且如果给予适当的激励,注释者可以随着时间的推移在这项任务中提高。此外,我们进行了详细的对比研究,分析了各种变量(模型大小,解码策略,微调,提示体裁等)影响人体检测性能。最后,我们从我们的参与者收集错误注释,并使用它们来表明,某些文本类型的影响模型,使不同类型的错误和某些注释水平的功能高度相关的注释者选择。我们发布RoFT数据集:超过21,000个人工注释的集合与错误分类配对,以鼓励未来在人工检测和评估生成的文本方面的工作。
2022-12-24 cs.AI cs.CL cs.HC
Perplexity from PLM Is Unreliable for Evaluating Text Quality
Nanyang Technological University(南洋理工大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Tsinghua University(清华大学)
近年来,大量的研究工作利用困惑度PPL来评价生成文本的质量。他们认为,如果PPL值较小,则要评估的文本的质量(即流畅性)更好。然而,我们发现PPL裁判员是不合格的,它不能公平地评估生成的文本,原因如下:(i)短文本的PPL大于长文本,这违背了常识;(ii)重复的文本跨度可能会损害PPL的性能;(iii)标点符号可能会严重影响PPL的性能。实验表明,PPL是不可靠的评价给定的文本的质量。最后,我们讨论了使用语言模型评估文本质量的关键问题。
2023-03-15 cs.AI cs.CL
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
Check-Eval: A Checklist-based Approach for Evaluating Text Quality
Universidade Federal do Cariri (UFCA)(卡里里联邦大学);Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);National Center for State Courts (NCSC)(国家州法院中心)
本文提出基于检查表的 Check-Eval 框架,利用 LLM 分两阶段进行无参考或有参考文本质量评估,并在两个基准上验证其优于现有指标。
2024-09-10 cs.AI cs.CL
Evaluating the Efficacy of Hybrid Deep Learning Models in Distinguishing AI-Generated Text
University of Oxford(牛津大学)
本文研究利用混合深度学习模型区分AI生成文本与人类写作,通过精选多源数据集和自然语言处理技术构建定制模型,有效检测二者细微差异。
2024-01-13 cs.AI cs.CL cs.LG
Enigme: Generative Text Puzzles for Evaluating Reasoning in Language Models
Centre for Artificial Intelligence and Innovation(人工智能与创新中心);Pingla Institute(Pingla研究院)
本文提出开源库 Enigme,通过生成文本谜题来探测和评估 Transformer 解码器语言模型推理能力的边界,为训练和评测模型推理技能提供工具。
2025-05-08 cs.AI cs.CL
'Your AI Text is not Mine': Redefining and Evaluating AI-generated Text Detection under Realistic Assumptions
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt(通用知识处理实验室(UKP实验室),计算机科学系,达姆施塔特技术大学);National Research Center for Applied Cybersecurity ATHENE, Germany(应用网络安全国家研究中心ATHENE,德国);Zuse School ELIZA(祖斯学校ELIZA)
针对AI生成文本检测领域缺乏统一有害使用定义的问题,本文系统定义了多种AI生成文本概念,构建了包含详细生成过程注释的人机协作文本基准AITDNA,并评估了多种检测器在不同概念下的表现。
2026-10-20 cs.AI cs.CL
PADBen: A Comprehensive Benchmark for Evaluating AI Text Detectors Against Paraphrase Attacks
Khoury College of Computer Science(科里学院计算机科学学院)
本文提出PADBen基准,首次系统评估AI文本检测器抵御改写攻击的鲁棒性,发现现有检测器在作者混淆场景下失效,揭示需超越现有语义和风格判别方法的根本性架构进步。
2025-11-01 cs.AI cs.CL
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中,基于聚类的语义分块是否优于固定大小和递归分块,通过RAGAs框架在长结构化学术论文上评估检索和答案质量,发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation
Appier AI Research(沛星人工智能研究院);National Taiwan University(台湾大学)
本文以文本到SQL生成为例,提出评估指标研究大语言模型主动请求用户支持的能力,发现缺乏外部反馈时模型难以识别求助需求,强调外部信号的重要性。
2024-09-30 cs.AI cs.CL
Signature vs. Substance: Evaluating the Balance of Adversarial Resistance and Linguistic Quality in Watermarking Large Language Models
IMSA;MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文针对大语言模型水印技术存在的质量受损、易受对抗攻击的问题,对比评估多种水印技术在两类对抗攻击下的鲁棒性与文本质量保留能力,发现其可保留语义但易受攻击、会偏离原写作风格。
2025-08-11 cs.AI cs.CL
Spotlights and Blindspots: Evaluating Machine-Generated Text Detection
Pindrop(Pindrop公司)
本文评估了15种不同检测模型在七种英文文本测试集和三种创意人类写作数据集上的表现,揭示了模型性能、训练数据和评估指标对结果的影响,发现模型表现高度依赖于数据集和指标选择。
2026-04-22 cs.AI cs.CL
DISTO: Evaluating Textual Distractors for Multi-Choice Questions using Negative Sampling based Approach
University of Alberta(阿尔伯塔大学)
本文提出首个学习型干扰项评估指标DISTO,通过负采样方法评估多选题干扰项质量,证明其与人类评分高度相关,并揭示机器翻译指标不适用于干扰项评估。
2023-04-10 cs.AI cs.CL
FRAME: Evaluating Rationale-Label Consistency Metrics for Free-Text Rationales
University of Southern California(南加州大学);Meta AI
遵循人类如何交流,自由文本理论旨在使用自然语言来解释神经语言模型(LM)行为。然而,自由文本基本原理的不受约束的性质使它们容易产生幻觉,因此重要的是要有自由文本基本原理质量的指标。现有的自由文本基本原理度量标准测量基本原理与LM的预测标签的一致性,但没有用于评估此类度量标准可靠性的协议。因此,我们提出框架,一个框架,用于评估自由文本的理由标签一致性(RLC)指标。FRAME基于三个公理:(1)好的度量应该产生最高分数的参考理由,最大化RLC的建设;(2)好的度量应该是适当的敏感性的语义扰动的理由;(3)好的度量应该是强大的LM的任务性能的变化。在三个文本分类数据集,我们表明,现有的RLC指标不能满足所有三个框架公理,因为它们是通过模型预训练,混淆度量的信号。然后,我们引入了一个非预训练RLC度量,它在(1)和(3)上的性能大大优于基线,而在(2)上的性能具有竞争力。最后,我们讨论了使用RLC评估自由文本的理由的局限性。
2022-12-02 cs.AI cs.CL cs.LG
Evaluating Unsupervised Text Classification: Zero-shot and Similarity-based Approaches
Technical University of Munich(慕尼黑工业大学);University of Twente(特文特大学)
该研究针对未见类别文本分类任务,系统性对比了基于相似度与零样本两类无监督方法,提出新型基线和Lbl2TransformerVec方法,验证了相似度类方法的优势及嵌入表示优化的增益。
2023-01-31 cs.AI cs.CL
GRUEN for Evaluating Linguistic Quality of Generated Text
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动评估指标是必不可少的评估生成的文本。到目前为止,这些指标几乎完全集中在系统输出的内容选择方面,完全忽略了语言质量方面。我们通过提出GRUEN来评估生成文本的语法性、非冗余性、焦点、结构和连贯性,从而弥合了这一差距。GRUEN利用基于BERT的模型和一类语法、语义和上下文特征来检查系统输出。与大多数现有的评估指标需要人类参考作为输入不同,GRUEN是无参考的,只需要系统输出。此外,它具有无监督,确定性和适应各种任务的优点。在七个数据集上进行的四个语言生成任务的实验表明,该度量与人类的判断高度相关。
2020-10-06 cs.CL
Harnessing the Power of LLMs: Evaluating Human-AI Text Co-Creation through the Lens of News Headline Generation
University of Maryland, College Park(马里兰大学帕克分校);Dataminr Inc.(Dataminr公司)
本文在LLM辅助新闻标题生成背景下比较了多种人机交互类型,发现引导和选择模型输出以最低成本带来最大收益,且AI辅助不损害用户的控制感。
2023-10-18 cs.AI cs.CL
FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski(索非亚大学圣克利门特奥赫里德斯基数学与信息学学院)
本文提出了一种识别西班牙临床文本中毒瘾习惯实体的方法,通过LLMs在零样本、少样本和提示优化中发现GPT-4.1在少样本提示下表现最佳,达到0.65的F1分数,展示了非英语语言命名实体识别的潜力。
2026-04-07 cs.AI cs.CL
MILPaC: A Novel Benchmark for Evaluating Translation of Legal Text to Indian Languages
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
针对印度法律文本英译需求,构建首个英印九语法律平行语料库MILPaC,并基准测试多种机器翻译系统,结合法律从业者调查评估翻译质量与自动指标一致性。
2024-11-07 cs.AI cs.CL
DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出无监督指标DecompEval,通过指令式PLM问答并将文本质量问题分解为句子级子问题,以提升NLG评估的泛化性与可解释性。
2023-07-13 cs.AI cs.CL
PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides
University of Chinese Academy of Sciences(中国科学院大学);Shanghai Jiexin Technology(上海捷信科技)
针对现有演示文稿自动生成方法忽略视觉吸引力与结构连贯性的问题,提出两阶段编辑式的PPTAgent生成框架及多维度PPTEval评估体系,在内容、设计、连贯性上均优于现有方法。
2025-02-21 cs.AI cs.CL
Evaluating the Efficacy of AI Techniques in Textual Anonymization: A Comparative Study
University of Western Macedonia(西马其顿大学);MetaMind Innovations P.C.(MetaMind创新私人有限公司);Kingston University(金斯顿大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);University of Macedonia(马其顿大学);Sidroco Holdings Ltd.(西德科控股有限公司)
本研究针对数字时代的文本隐私保护需求,对比分析CRF、LSTM、ELMo及Transformers四类文本匿名化方法的特性与效能,验证了前三者优于传统方法的结论,并为当代最优匿名化方案提供了更全面的参考视角。
2024-05-09 cs.AI cs.CL
Evaluating Text-to-Image Matching using Binary Image Selection (BISON)
University of Southern California(南加州大学);Facebook AI Research(Facebook人工智能研究院)
为系统提供关联语言和视觉内容的能力是计算机视觉的标志之一。任务,如基于文本的图像检索和图像描述的目的是测试这种能力,但与评估措施,有很大的差异或难以解释。我们研究了一个替代的任务,匹配文本和图像的系统:给定一个文本查询,系统被要求从一对语义相似的图像中选择最匹配的查询的图像。该系统的准确性,这个二进制图像选择(BISON)的任务是可解释的,消除了检索评估的可靠性问题,并专注于系统的能力,以了解细粒度的视觉结构。我们收集了一个BISON数据集,补充COCO数据集,并使用它来评估现代基于文本的图像检索和图像描述系统。我们的研究结果为这些系统的性能提供了新的见解。COCO-BISON数据集和相应的评估代码可从\url{http://hexianghu.com/bison/}公开获得。
2019-04-05 cs.AI cs.CL cs.CV
Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过GPT-2和BERT编码WKT几何文本并评估其嵌入,发现LLM可保留几何类型和部分空间关系但数值估计与空间检索仍不足,强调需融合领域知识以改进GeoAI基础模型。
2023-07-05 cs.AI cs.CL cs.LG
Evaluating Sentence Segmentation and Word Tokenization Systems on Estonian Web Texts
University of Tartu(塔尔图大学)
从网络上获取的文本是嘈杂的,不一定遵循正字法句子和词边界规则。因此,在格式良好的文本上开发的句子分割和单词标记化系统在未经编辑的Web文本上可能不会表现得那么好。在本文中,我们首先描述了爱沙尼亚网络数据集的句子边界的手动注释,然后给出了三个现有的句子分割和单词标记化系统在这个语料库上的评估结果:EstNLTK,Stanza和UDPipe。虽然EstNLTK在此数据集上的句子分割方面获得了与其他系统相比最高的性能,但Stanza和UDPipe的句子分割性能仍然远低于在更完善的爱沙尼亚UD测试集上获得的结果。
2020-11-16 cs.CL
Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs
文本转语音系统通常在单个句子上进行评估。当考虑长格式内容时,例如由完整段落或对话组成的数据,孤立地评估句子并不总是合适的,因为缺少合成句子的上下文。在本文中,我们研究了三种不同的方法来评估自然的长形式的文本转语音合成。我们比较了孤立地评价句子,评价整个段落的讲话,并提出了一个选择的语音或文本作为上下文,并评估随后的讲话。我们发现,即使这三个评估是基于相同的材料,结果不同的设置,而且这些结果不一定相互关联。我们表明,我们的研究结果是一致的,一个单一的扬声器设置的阅读段落和两个扬声器的对话场景。我们的结论是,要评估长格式语音的质量,传统的评价孤立的句子的方式是不够的,需要多个评价。
2019-09-09 cs.CL cs.LG cs.SD
Evaluating the Morphosyntactic Well-formedness of Generated Texts
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
文本生成系统在自然语言处理应用中无处不在。然而,对这些系统的评估仍然是一个挑战,特别是在多语种环境中。在本文中,我们提出了L 'AMBRE-一个度量标准来评估其依赖分析和语言的形态句法规则的文本的形态句法良好的形式。我们提出了一种方法来自动提取各种规则直接从依赖树库的morphosyntax。为了解决文本生成系统的噪声输出,我们提出了一个简单的方法来训练强大的解析器。我们的有效性,我们的度量机器翻译的任务,通过历时研究系统翻译成形态丰富的语言。
2021-09-09 cs.CL
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室)
本研究针对大型语言模型受约束文本生成问题,对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进,并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling
University of Montreal(蒙特利尔大学);Mila - Quebec AI(Mila - 魁北克人工智能研究所);Intel Labs(英特尔实验室)
提出材料科学NLP基准MatSci-NLP,涵盖七项任务,验证科学预训练语言模型优势,并引入文本到模式多任务学习方法,优于传统微调。
2023-05-14 cond-mat.mtrl-sci cs.AI cs.CL
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University(巴伊兰大学)
构建有意义的短语表示是具有挑战性的,因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义,引入隐含信息。我们测试了广泛的文本表示,以解决这些问题的能力。我们发现,正如预期的那样,语境化的词表征比静态的词嵌入表现更好,更多的是在检测意义转移比在恢复隐含信息,其中他们的表现仍然是远离人类。我们的评估套件,包括5个任务相关的词汇组成的影响,可以为未来的研究,旨在改善这种表征。
2019-05-19 cs.CL
User-Generated Text Corpus for Evaluating Japanese Morphological Analysis and Lexical Normalization
National Institute of Information and Communications Technology(国立信息通信技术研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
词法分析和词汇规范化是日语用户生成文本的两个重要任务。为了评估和比较不同的MA/LN系统,我们构建了一个公开的日本UGT语料库。我们的语料库包括929个句子注释的形态和规范化信息,以及类别信息,我们经常UGT特定的现象进行分类。在该语料库上的实验表明,现有的MA/LN方法对非通用词和非标准形式的识别性能较低,这表明该语料库将是进一步研究UGT的一个具有挑战性的基准。
2021-04-08 cs.CL
Evaluating Text Summaries Generated by Large Language Models Using OpenAI's GPT
University of Colorado - Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Kansas(堪萨斯大学);DataCrunch Lab, LLC(DataCrunch实验室有限责任公司);University of Florida(佛罗里达大学)
本文将 GPT 作为独立评估者评估六个 transformer 模型生成的摘要,并与 ROUGE、LSA 等传统指标比较,验证其在相关性和连贯性评估上的互补价值。
2024-05-07 cs.AI cs.CL cs.LG
Evaluating for Diversity in Question Generation over Text
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学);Amazon(亚马逊)
在文本上生成多样化和相关的问题是一项具有广泛应用的任务。我们认为,常用的评价指标,如BLEU和METEOR不适合这项任务,由于固有的多样性的参考问题,并提出了一个计划,扩展传统的指标,以反映多样性。此外,我们提出了一个变分编码器-解码器模型为这项任务。我们通过自动和人工评估表明,我们的变分模型提高了多样性,而不会损失质量,并展示了我们的评估方案如何反映这种改进。
2020-08-17 cs.CL stat.ML