How critically can an AI think? A framework for evaluating the quality of thinking of generative artificial intelligence
The University of Queensland(昆士兰大学)
本研究针对数字化评估中生成式AI带来的学术诚信等挑战,提出MAGE框架以评估行业基准模型ChatGPT4的批判性思维能力,帮助教育者判定评估内容的AI脆弱性,为评估设计提供依据。
2024-06-20 cs.AI
ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs
NOVA University of Lisbon(新里斯本大学);NOVA LINCS(新里斯本大学计算机科学与系统研究实验室)
ALBA是首个针对欧洲葡萄牙语的语言学评估基准,通过八个维度评估生成模型在语言多样性、文化绑定语义等任务中的表现,揭示了模型在不同语言学维度上的性能差异。
2026-03-27 cs.AI cs.CL cs.LG
Scene Graph-Guided Generative AI Framework for Synthesizing and Evaluating Industrial Hazard Scenarios
Ph.D. Student, Dept. of Civil Eng., University of Texas at Arlington. E-mail;Assistant Professor, Dept. of Computer Sci. \& Eng., University of Texas at Arlington. E-mail;Assistant Professor, Dept. of Civil Eng., University of Texas at Arlington. E-mail
针对工业危险场景数据集获取困难的问题,提出场景图引导的生成式AI框架,基于OSHA事故报告提取危险推理生成场景图,引导扩散模型合成逼真危险图像,并通过VQA框架验证其优于现有指标。
2025-11-17 cs.AI cs.CV
RoFT: A Tool for Evaluating Human Detection of Machine-Generated Text
University of Pennsylvania(宾夕法尼亚大学)
近年来,用于自然语言生成(NLG)的大型神经网络在生成流畅文本的能力方面取得了长足的进步。然而,评估NLG系统之间的质量差异和理解人类如何感知生成的文本的任务仍然是至关重要和困难的。在这个系统演示中,我们介绍了Real or Fake Text(RoFT),这是一个通过邀请用户尝试在各种领域中检测机器生成的文本来解决这两个挑战的网站。我们介绍了一种新的评估任务的基础上检测的边界,在该边界处开始了人类书面过渡到机器生成的文本段落。我们展示了使用RoFT来评估机器生成的新闻文章的检测的初步结果。
2020-10-06 cs.AI cs.CL cs.HC
Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
评估数据到文本(D2T)生成的一个主要挑战是测量所生成文本的语义准确性,即检查输出文本是否包含输入数据支持的所有且唯一事实。我们提出了一种新的度量标准,用于评估基于自然语言推理(NLI)预训练的神经模型的D2T生成的语义准确性。我们使用NLI模型在两个方向上检查输入数据和输出文本之间的文本蕴涵,允许我们揭示遗漏或幻觉。使用简单模板将输入数据转换为NLI的文本。我们在两个最近的D2T数据集上的实验表明,我们的度量在识别错误的系统输出时可以达到很高的准确性。
2020-11-21 cs.CL
From Reddit to Generative AI: Evaluating Large Language Models for Anxiety Support Fine-tuned on Social Media Data
Georgia State University(佐治亚州立大学);University of Georgia(佐治亚大学);Microsoft(微软);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究系统评估了在Reddit焦虑子论坛数据上微调的GPT和Llama模型,发现微调虽提升语言质量却增加毒性、偏见并降低情感响应,GPT整体支持性更佳,凸显了无缓解策略微调的风险。
2025-05-24 cs.AI cs.CL cs.CY
EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants
New York University Shanghai(上海纽约大学)
本文提出EvoGenUI-Bench多轮生成式UI评估基准,发现现有8个大型语言模型在该基准上轮次通过率最高74.9%、五轮回合完成率仅37.3%,且工具接地任务的跨轮次保留率更低,揭示生成式UI需关注多轮状态同步问题。
2026-09-09 cs.AI cs.SE
Evaluating Reasoning Fidelity in Visual Text Generation
Stony Brook University(石桥大学)
通过长文本渲染、事实知识探测、上下文理解和多步推理等任务,评估当前文本到图像模型在视觉文本生成中是否忠实保持推理能力,发现其常产生语义错误和逻辑不一致,与纯文本模型存在显著差距。
2026-06-03 cs.AI cs.CL cs.CV
A Gold Standard Methodology for Evaluating Accuracy in Data-To-Text Systems
University of Aberdeen(阿伯丁大学)
大多数自然语言生成系统需要生成准确的文本。我们提出了一种高质量的人工评估生成的文本的准确性,这是为了作为一个金标准的数据到文本系统的准确性评估的方法。我们使用我们的方法来评估计算机生成的篮球摘要的准确性。然后,我们将展示如何使用我们的黄金标准评估来验证自动化指标
2020-11-08 cs.CL
A survey on text generation using generative adversarial networks
São Paulo State University(圣保罗州立大学)
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的,因为它提供了生成所谓的“自然”语言的替代方案。然而,对抗性文本生成并不是一项简单的任务,因为其最重要的架构生成对抗网络被设计用于处理连续信息(图像)而不是离散数据(文本)。因此,大多数作品都基于三种可能的选择,即,Gumbel-Softmax微分,强化学习和修改的训练目标。所有的替代品在本次调查中进行审查,因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库,如Science Direct,IEEEEXplore,Springer,Association for Computing Machinery和arXiv,而每一个选定的工作都经过严格的分析和评估,以呈现其目标,方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中,基于聚类的语义分块是否优于固定大小和递归分块,通过RAGAs框架在长结构化学术论文上评估检索和答案质量,发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
Evaluating Text GANs as Language Models
Tel-Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
生成对抗网络(GANs)是一种很有前途的文本生成方法,与传统的语言模型(LM)不同,它不会受到"暴露偏差“问题的困扰。然而,理解GANs用于文本生成的潜力的一个主要障碍是缺乏明确的评估指标。在这项工作中,我们提出了近似的分布由GAN,这允许评估他们与传统的基于概率的LM指标生成的文本。我们将我们的近似程序应用于几个基于GAN的模型,并表明它们目前的性能比最先进的LM差得多。我们的评估过程促进了对GANs和LM之间关系的更好理解,并可以加速基于GAN的文本生成的进展。
2019-03-24 cs.CL
AutoDojo: A Generative Benchmark for Evaluating Prompt Injection Defenses in LLM Agents
University of Science and Technology of China(中国科学技术大学)
针对间接提示注入防御的静态基准不足,提出自适应攻击框架AutoDojo,通过迭代优化注入突破多数防御,并揭示动作开放任务的结构性限制。
2026-09-29 cs.AI cs.CR
Applying and Evaluating Large Language Models in Mental Health Care: A Scoping Review of Human-Assessed Generative Tasks
Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);University of Technology Sydney(悉尼科技大学);UTHealth Houston(德克萨斯大学休斯顿健康科学中心);University of Oxford(牛津大学);Massachusetts Institute of Technology(麻省理工学院);Harvard Medical School(哈佛医学院)
该综述评估大型语言模型在心理健康护理中的生成应用,发现其虽有潜力但证据不足,需更严格的标准化评估和伦理监督。
2024-08-21 cs.AI
Text-to-Audio Grounding Based Novel Metric for Evaluating Audio Caption Similarity
TCS Research, Tata Consultancy Services Limited(塔塔咨询服务有限公司TCS研究院)
自动音频字幕(AAC)是指将音频样本翻译成描述音频事件、事件来源及其关系的自然语言(NL)文本的任务。与依赖于基于词汇语义的BLEU、ROUGE、METEOR等指标进行评估的NL文本生成任务不同,AAC评估指标需要能够映射与词汇语义之外的类似声音相对应的NL文本(短语)。目前用于评估AAC任务的指标缺乏对文本所表示的声音的感知属性的理解。在本文中,我们提出了一种新的度量基于文本到音频接地(TAG),这是有用的跨模态任务,如AAC的评估。公开可用的AAC数据集上的实验表明,我们的评价指标,以执行更好的NL文本和图像描述文献中使用的现有指标相比。
2022-10-03 cs.AI cs.CL cs.SD
DP-GAN: Diversity-Promoting Generative Adversarial Network for Generating Informative and Diversified Text
Peking University(北京大学)
现有的文本生成方法往往会产生重复和“无聊”的表达。为了解决这个问题,我们提出了一个新的文本生成模型,称为多样性促进生成对抗网络(DP-GAN)。该模型为重复生成的文本分配低奖励,为“新颖”和流畅的文本分配高奖励,鼓励生成器生成多样化和信息丰富的文本。此外,我们提出了一种新的语言模型为基础的鉴别器,它可以更好地区分新的文本从重复的文本没有饱和的问题相比,现有的基于分类器的歧视。评论生成和对话生成任务的实验结果表明,我们的模型可以生成比现有基线更多样化和信息量更大的文本。代码可在https://github.com/lancopku/DPGAN上获得
2018-08-21 cs.CL
Style Example-Guided Text Generation using Generative Adversarial Transformers
NVIDIA(英伟达);cs.washington.edu(华盛顿大学计算机科学与工程系)
我们介绍了一种语言生成模型框架,用于基于上下文句子和样式参考示例生成样式化段落。该框架包括一个风格编码器和一个文本解码器。样式编码器从参考示例中提取样式代码,并且文本解码器基于样式代码和上下文生成文本。我们提出了一个新的目标函数来训练我们的框架。我们还研究了不同的网络设计选择。我们进行了广泛的实验验证与强大的基线比较,以验证所提出的框架的有效性,使用新收集的数据集与不同的文本样式。代码和数据集都将在发布时发布。
2020-03-02 cs.CL
Text Generation Based on Generative Adversarial Nets with Latent Variable
Beihang University(北京航空航天大学)
在本文中,我们提出了一个模型,使用生成对抗网(GAN)生成真实感的文本。代替使用标准的GAN,我们将变分自编码器(VAE)与生成对抗网相结合。高级隐随机变量的使用有助于学习数据分布,解决生成对抗网总是发出相似数据的问题。我们提出了VGAN模型,其中生成模型由递归神经网络和VAE组成。判别模型是一个卷积神经网络。通过策略梯度对模型进行训练。我们将该模型应用到文本生成任务中,并将其与最近的其他基于神经网络的模型进行比较,如递归神经网络语言模型和SeqGAN。我们通过计算负对数似然和BLEU得分来评估模型的性能。我们在三个基准数据集上进行了实验,结果表明,我们的模型优于其他以前的模型。
2018-11-07 cs.CL
TextGAIL: Generative Adversarial Imitation Learning for Text Generation
University of California, Davis(加利福尼亚大学戴维斯分校);ByteDance(字节跳动)
用于文本生成的生成对抗网络(GANs)最近受到了许多批评,因为它们的表现比MLE同行更差。我们怀疑以前的文本GANs性能较差是由于它们的判别器中缺乏可靠的指导信号。为了解决这个问题,我们提出了一个用于文本生成的生成对抗模仿学习框架,该框架使用大型预训练的语言模型来提供更可靠的奖励指导。我们的方法使用对比度优化,和近端策略优化(PPO),以稳定和提高文本生成性能。为了评估,我们进行了一组不同的无条件和有条件的文本生成任务的实验。实验结果表明,TextGAIL在质量和多样性方面都比MLE基线有更好的性能。我们还验证了我们的直觉,即TextGAIL的奖励证明了通过额外任务提供合理奖励的能力。
2021-04-26 cs.CL cs.LG
Evaluating Compositional Scene Understanding in Multimodal Generative Models
Department of Psychology, University of California, Los Angeles(加州大学洛杉矶分校心理学系);Microsoft Research, NYC(微软研究院纽约分部);Air Force Research Laboratory(美国空军研究实验室);Department of Statistics, University of California, Los Angeles(加州大学洛杉矶分校统计学系)
本研究评估了DALL-E 3、GPT-4V等当前多模态生成模型在组合场景理解上的能力,发现其较前代有所提升,但在处理多物体和多重关系的复杂场景时仍远不及人类水平。
2025-03-29 cs.AI cs.CV
Vi(E)va LLM! A Conceptual Stack for Evaluating and Interpreting Generative AI-based Visualizations
Sapienza University of Rome(罗马智慧大学);Link Campus University(林克校园大学)
本文提出EvaLLM评估堆栈,将LLM生成可视化的评估分解为原子组件,并构建平台支持自动与人工评分,通过两个案例验证其有效性。
2024-02-03 cs.AI cs.HC cs.LG
Re-evaluating Evaluation in Text Summarization
Carnegie Mellon University(卡内基梅隆大学)
自动评估指标作为手动评估的替代,是文本生成任务(如文本摘要)开发的重要组成部分。然而,虽然该领域已经取得了进展,但我们的标准指标却没有-近20年来,ROUGE一直是大多数摘要论文的标准评估。在本文中,我们试图重新评估文本摘要的评估方法:使用最高评分的系统输出,抽象和提取,最近流行的系统级和摘要级评估设置的数据集,评估自动度量的可靠性。我们发现,关于旧数据集的评估指标的结论不一定适用于现代数据集和系统。
2020-10-14 cs.CL cs.IR cs.LG
Evaluating Contextually Personalized Programming Exercises Created with Generative AI
Aalto University(阿尔托大学);Abilene Christian University(阿比林基督教大学);University of Jyväskylä(于韦斯屈莱大学)
本研究评估了GPT-4生成的上下文个性化编程练习,发现其质量高且能提升学生参与度,可作为入门编程课程的有价值补充。
2024-06-11 cs.AI cs.CY cs.HC
Replicating Human Social Perception in Generative AI: Evaluating the Valence-Dominance Model
University of Missouri - St. Louis(密苏里大学圣路易斯分校);Stevens Institute of Technology(史蒂文斯理工学院)
本研究探讨多模态生成式AI能否复制效价-支配性社会感知模型,通过PCA发现其提取维度与理论结构高度一致,但部分模型和地区出现第三成分,证明AI可复制人类社会感知关键特征。
2025-03-05 cs.AI cs.CL
Oracle-Checker Scheme for Evaluating a Generative Large Language Model
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出oracle-checker方案,通过性质测试型和程序检查型两类checker评估生成式大语言模型的答案,并在实体抽取与释义判定任务中验证其应用。
2024-05-06 cs.CL
Enigme: Generative Text Puzzles for Evaluating Reasoning in Language Models
Centre for Artificial Intelligence and Innovation(人工智能与创新中心);Pingla Institute(Pingla研究院)
本文提出开源库 Enigme,通过生成文本谜题来探测和评估 Transformer 解码器语言模型推理能力的边界,为训练和评测模型推理技能提供工具。
2025-05-08 cs.AI cs.CL
Worth Their Weights? Evaluating Generative Models for Discourse Parsing
Indiana University Bloomington(印第安纳大学伯明顿分校);Georgetown University(乔治城大学)
本研究对比评估生成式与判别式模型在RST话语解析中的性能,发现参数匹配时判别式模型更优,大规模生成式模型有时胜出,且生成式模型在EDU分割上具优势,在RST-DT基准取得新最优结果。
2026-10-14 cs.CL
Evaluating Generative Ad Hoc Information Retrieval
Leipzig University(莱比锡大学);The University of Queensland(昆士兰大学);Bauhaus-Universität Weimar(魏玛包豪斯大学);Friedrich-Schiller-Universität Jena(弗里德里希·席勒大学耶拿分校);University of Kassel(卡塞尔大学)
针对生成式即席检索缺乏可靠评估方法的问题,本文通过文献调研、任务与架构识别、新用户模型构建及其操作化研究,为开发新的评估方法奠定基础。
2024-05-22 cs.CL cs.IR
SAIF: A Comprehensive Framework for Evaluating the Risks of Generative AI in the Public Sector
Graduate School of Data Science, KAIST(韩国科学技术院数据科学研究生院);School of Computing, KAIST(韩国科学技术院计算机学院)
针对公共部门生成式AI风险,提出SAIF框架,通过四阶段系统生成提示数据,全面评估并适应新兴风险,助力安全整合。
2025-03-28 cs.AI cs.CL cs.CY
Evaluating Multimodal Generative AI with Korean Educational Standards
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
本研究提出基于韩国国家教育测试的多模态生成式AI评估基准KoNET,覆盖四类不同教育阶段考试,评估多类模型在韩语场景下的表现,相关资源将开源。
2025-02-21 cs.AI cs.CL cs.CV
Perplexity from PLM Is Unreliable for Evaluating Text Quality
Nanyang Technological University(南洋理工大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Tsinghua University(清华大学)
近年来,大量的研究工作利用困惑度PPL来评价生成文本的质量。他们认为,如果PPL值较小,则要评估的文本的质量(即流畅性)更好。然而,我们发现PPL裁判员是不合格的,它不能公平地评估生成的文本,原因如下:(i)短文本的PPL大于长文本,这违背了常识;(ii)重复的文本跨度可能会损害PPL的性能;(iii)标点符号可能会严重影响PPL的性能。实验表明,PPL是不可靠的评价给定的文本的质量。最后,我们讨论了使用语言模型评估文本质量的关键问题。
2023-03-15 cs.AI cs.CL
Evaluating Span Extraction in Generative Paradigm: A Reflection on Aspect-Based Sentiment Analysis
KAIST AI(韩国科学技术院人工智能学院);SAIT, Samsung Electronics(三星电子SAIT研究院)
本文针对生成式范式模糊理解与生成任务边界带来的ABSA评估挑战,分析现有评估范式优劣,阐明生成输出与跨任务指标对齐的复杂性,为制定适配生成范式的ABSA评估指南奠定基础。
2024-04-17 cs.CL
Evaluating a Generative Adversarial Framework for Information Retrieval
Princeton University(普林斯顿大学);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
生成对抗网络(GANs)的最新进展使其在多个领域得到了广泛的应用。最近的一个模型,IRGAN,适用于这个框架的信息检索(IR),并在过去的几年中获得了显着的关注。在这项重点工作中,我们批判性地分析了IRGAN的多个组成部分,同时提供了一些缺点的实验和理论证据。具体来说,我们确定的问题与恒定的基线长期的策略梯度优化,并表明发电机损害IRGAN的性能。我们的研究结果的动机,我们提出了两个模型的自我对比估计和共同训练的表现优于IRGAN的三个任务中的两个。
2020-10-01 cs.CL cs.IR cs.LG
Evaluating Generative AI-Enhanced Content: A Conceptual Framework Using Qualitative, Quantitative, and Mixed-Methods Approaches
Institute of Electrical and Electronics Engineers(电气和电子工程师协会);Santa Clara Valley Section(圣克拉拉谷分会)
针对生成式人工智能(GenAI)增强内容的评估需求,提出结合定性、定量和混合方法的概念框架,通过医疗成像手稿假设用例展示各方法优势,为GenAI工具基准测试及高风险领域应用提供评估支持。
2024-11-26 cs.AI cs.CL
Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset
UPV/EHU University of the Basque Country(巴斯克大学)
在本文中,我们介绍了vSTS,一个新的数据集测量文本相似性的句子使用多模态信息。数据集由图像及其相应的文本标题组成。我们描述的数据集定量和定性,并声称它是一个有效的金标准,用于测量自动多模态文本相似性系统。我们还描述了初始实验结合多模态信息。
2018-09-11 cs.AI cs.CL
Evaluating Personal Information Output from Conversational Interactions in Generative AI Systems
Kobe City University of Foreign Studies(神户市外国语大学);Kobe City College of Technology(神户市立工业高等专门学校)
本研究通过15名日本参与者评估GPT-5.2系列模型在对话中输出个人信息的倾向,发现事实输出更保守,行为与语言属性准确性高,推断画像可能源于上下文信息,为隐私讨论提供参考。
2026-09-22 cs.AI cs.CL cs.CY
MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics
UC Irvine(加州大学欧文分校);The Hebrew University(希伯来大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);AI2 Irvine(艾伦人工智能研究所欧文分部)
把阅读理解作为一个生成问题提供了很大的灵活性,允许开放式的问题,对可能的答案几乎没有限制。然而,现有的生成指标阻碍了进展,这些指标依赖于标记重叠,并且对阅读理解的细微差别不可知。为了解决这个问题,我们引入了一个用于训练和评估生成式阅读理解指标的基准:使用人类注释建模正确性。MOCHA包含来自6个不同问答数据集的模型输出的40K人类判断分数和用于评估的额外一组最小对。使用MOCHA,我们训练阅读理解的学习评价指标LERC,以模仿人类的判断分数。LERC在保留注释上的绝对Pearson点超过基线指标10到36。当我们评估最小对的鲁棒性时,LERC达到了80%的准确率,比基线高出14到26个绝对百分点,同时留下了显著的改进空间。MOCHA提出了一个具有挑战性的问题,发展准确和强大的生成式阅读理解指标。
2020-10-15 cs.CL cs.LG
Environmental large language model Evaluation (ELLE) dataset: A Benchmark for Evaluating Generative AI applications in Eco-environment Domain
Beijing Information Science & Technology University(北京信息科技大学);Tsinghua University(清华大学)
针对生态环境领域生成式AI缺乏统一评估框架的问题,研究团队推出首个该领域专用的ELLE问答基准数据集,含16个主题的1130组问答对,可规范评估、推动生成式AI助力环境可持续发展。
2025-01-10 cs.CL cs.IR
Evaluating Verifiability in Generative Search Engines
Stanford University(斯坦福大学)
本文通过人工评估审计了四种主流生成式搜索引擎,发现其响应中存在大量不受支持的陈述和不准确的引用,揭示了现有系统在可验证性方面的严重不足。
2023-10-23 cs.CL cs.IR
GAICo: A Deployed and Extensible Framework for Evaluating Diverse and Multimodal Generative AI Outputs
GAICo提供统一框架,支持多种参考指标,用于评估生成式AI输出,提升评估标准化和可复现性,加速AI系统开发。
2026-01-22 cs.CL
Evaluating Generative Patent Language Models
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文构建并开源多个从零预训练的专利语言模型,提出以自动补全节省按键比例为核心的人本评估指标,发现6B等最大模型未必最优。
2023-06-05 cs.CL cs.LG
Evaluating Retrieval Augmented Generative Models for Document Queries in Transportation Safety
Oak Ridge National Laboratory(橡树岭国家实验室)
该研究首次将检索增强生成(RAG)应用于运输安全领域,通过对比微调后的 LLaMA 模型与 ChatGPT、Vertex AI 在危险品运输法规查询中的表现,证明 RAG 增强模型能提供更详细准确的信息,并强调领域微调与严格评估对高风险场景可靠性的重要性。
2025-04-09 cs.CL
Evaluating the Efficacy of Hybrid Deep Learning Models in Distinguishing AI-Generated Text
University of Oxford(牛津大学)
本文研究利用混合深度学习模型区分AI生成文本与人类写作,通过精选多源数据集和自然语言处理技术构建定制模型,有效检测二者细微差异。
2024-01-13 cs.AI cs.CL cs.LG
Operationalizing Specifications, In Addition to Test Sets for Evaluating Constrained Generative Models
Microsoft Azure AI(微软Azure人工智能)
在这项工作中,我们提出了一些建议的国家的最先进的生成模型的约束生成任务的评估。近年来,生成模型的研究进展迅速。这些大规模的模型产生了三个影响:首先,语言和视觉形式的流畅性,使常见的平均情况下的评估指标在诊断系统错误的有用性要小得多。其次,相同的基底模型现在形成了许多应用程序的基础,这是由其表示的效用以及诸如上下文学习之类的现象驱动的,这提高了与这些模型交互的抽象水平。第三,用户对这些模型的期望以及它们的公开发布使得领域泛化的技术挑战在实践中变得不可原谅。因此,我们的评估方法没有适应这些变化。更具体地说,虽然与生成模型交互的相关效用和方法已经扩展,但在其评估实践中尚未观察到类似的扩展。在本文中,我们认为,生成模型的规模可以被利用,以提高评估本身进行的抽象层次,并提供建议。我们的建议是基于利用规范作为一个强大的工具,以评估发电质量,并随时适用于各种任务。
2022-11-19 cs.CL cs.CV cs.CY
QuranicMMLU: A Cognitively-Aware Benchmark for Evaluating Generative AI Solutions on Quranic Linguistic Knowledge
Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所);Carnegie Mellon University Qatar(卡内基梅隆大学卡塔尔分校);University of Doha for Science and Technology(多哈科技大学);Qatar University(卡塔尔大学);American University of Beirut(贝鲁特美国大学);University of Birmingham(伯明翰大学)
QuranicMMLU是一个基于五支柱语言学分类的基准,含980个人工审核问题,用于评估生成式AI在《古兰经》阿拉伯语上的表现,发现多项选择得分虚高,掩盖了开放式回答中的失败。
2026-09-21 cs.CL
Erasing with Precision: Evaluating Specific Concept Erasure from Text-to-Image Generative Models
Meiji University(明治大学)
针对文本到图像生成模型概念擦除评估依赖主观可视化的问题,提出 EraseEval 评估方法,通过三项基本标准整合为单一稳健指标,揭示现有方法不足并指引未来方向。
2025-02-19 cs.AI cs.CL cs.CV
Generative Adversarial Networks for text using word2vec intermediaries
University of Toronto(多伦多大学);Vector Institute(向量研究院);St Michael’s Hospital(圣迈克尔医院)
生成对抗网络(GANs)已经取得了相当大的成功,特别是在真实图像的生成方面。在这项工作中,我们采用类似的技术来生成文本。我们提出了一种新的方法来处理文本的离散性,在训练过程中,使用词嵌入。我们的方法是不可知的词汇量的大小,并取得了竞争力的结果相对于各种离散梯度估计的方法。
2019-04-04 cs.AI cs.CL cs.LG
Creating and Evaluating Personas Using Generative AI: A Scoping Review of 81 Articles
University of Vaasa(瓦萨大学);Aalto University(阿尔托大学);University of Arizona(亚利桑那大学);Qatar Computing Research Institute, Hamad Bin Khalifa University(卡塔尔计算研究所,哈马德·本·卡西姆大学)
本文综述了2022-2025年间81篇关于生成式人工智能在人设创建、评估和应用中的研究,发现大多数文章缺乏评估,且存在循环风险,提出负责任整合的指导方针。
2026-04-17 cs.CL cs.HC
GRUEN for Evaluating Linguistic Quality of Generated Text
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动评估指标是必不可少的评估生成的文本。到目前为止,这些指标几乎完全集中在系统输出的内容选择方面,完全忽略了语言质量方面。我们通过提出GRUEN来评估生成文本的语法性、非冗余性、焦点、结构和连贯性,从而弥合了这一差距。GRUEN利用基于BERT的模型和一类语法、语义和上下文特征来检查系统输出。与大多数现有的评估指标需要人类参考作为输入不同,GRUEN是无参考的,只需要系统输出。此外,它具有无监督,确定性和适应各种任务的优点。在七个数据集上进行的四个语言生成任务的实验表明,该度量与人类的判断高度相关。
2020-10-06 cs.CL
Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The University of Hong Kong(香港大学)
Counter-GEO-Bench是评估GEO错误信息防御的基准,实验显示现有防御效果有限,而新提出的C-GEO Guard可大幅降低攻击成功率且效用损失极小,验证了威胁可应对。
2026-09-03 cs.CL cs.CR cs.IR
MEGA: Multilingual Evaluation of Generative AI
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Corporation(微软公司);Johns Hopkins University(约翰斯·霍普金斯大学)
提出首个多语言生成式LLM综合基准MEGA,覆盖70种语言16个数据集,对比Chat-GPT等与SOTA非自回归模型,分析性能并构建评估框架。
2023-10-22 cs.CL
SG-Bench: Evaluating LLM Safety Generalization Across Diverse Tasks and Prompt Types
National Engineering Research Center for Software Engineering, Peking University(北京大学国家软件工程研究中心)
针对现有LLM安全基准评估范式单一、未考虑提示技术影响的问题,研究提出融合两类评估任务、覆盖提示工程与越狱场景的SG-Bench基准,测评发现多数LLM安全泛化能力不足。
2024-10-29 cs.CL
Evaluating the Bias in LLMs for Surveying Opinion and Decision Making in Healthcare
University of New South Wales(新南威尔士大学);Emory University(埃默里大学);George Mason University(乔治梅森大学);Arizona State University(亚利桑那州立大学)
本研究通过对比Understanding America Study(UAS)的医疗决策调查数据与生成式智能体的模拟响应,分析不同LLMs的再现效果,发现部分模型存在偏差,Llama 3虽更准确捕捉群体差异但仍有偏差,为生成式智能体的应用提供参考。
2025-04-17 cs.CL
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction
Tsinghua University(清华大学)
针对信息抽取中传统指标语义匹配不精确和基准标注不完整的问题,本文提出SQC-Score,结合经主观题批改数据微调的LLM与NLI模型改进评分和黄金标签扩充。
2024-04-04 cs.CL