首页/论文/2303.16742

arXiv 2303.167422023-03-29cs.CL

Evaluating NLG systems: A brief introduction

Tilburg University（蒂尔堡大学）

Emiel van Miltenburg

备注：: To be published on the INLG2023 conference website

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

英文摘要相关论文

英文摘要：

This year the International Conference on Natural Language Generation (INLG) will feature an award for the paper with the best evaluation. The purpose of this award is to provide an incentive for NLG researchers to pay more attention to the way they assess the output of their systems. This essay provides a short introduction to evaluation in NLG, explaining key terms and distinctions.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Harnessing Knowledge and Reasoning for Human-Like Natural Language Generation: A Brief Review

Fudan University（复旦大学）

2022-12-07cs.CL

Evaluating the State-of-the-Art of End-to-End Natural Language Generation: The E2E NLG Challenge

Heriot-Watt University（赫瑞-瓦特大学）；Charles University（查理大学）；Winterlight Labs

2019-07-24cs.CL

分析与评估 NLG 元评估中的相关性度量

Analyzing and Evaluating Correlation Measures in NLG Meta-Evaluation

Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）

本文分析了 NLG 元评估中 12 种相关性度量，利用六个数据集和 32 个指标的真实数据，提出判别力、排序一致性和分数粒度敏感性三个评估视角，发现全局分组结合 Pearson 相关系数表现最佳。

2025-01-25cs.CL

Perturbation CheckLists for Evaluating NLG Evaluation Metrics

Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Robert Bosch Centre for Data Science and Artificial Intelligence, IIT Madras（印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心）；Center for Data Science, New York University（纽约大学数据科学中心）；AI4Bharat

2021-09-13cs.CL

IndoNLG: Benchmark and Resources for Evaluating Indonesian Natural Language Generation

The Hong Kong University of Science and Technology（香港科技大学）；DeepMind；Gojek；Institut Teknologi Bandung（万隆理工学院）；Universitas Multimedia Nusantara（多媒体 nusantara 大学）

2021-10-09cs.CL

评估评估指标：使用测量理论分析NLG评估指标的框架

Evaluating Evaluation Metrics: A Framework for Analyzing NLG Evaluation Metrics using Measurement Theory

Visa Research（Visa研究院）；Microsoft Research Montréal（微软蒙特利尔研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

提出基于测量理论的MetricEval框架，用于概念化和评估NLG评估指标的可靠性与有效性，并揭示了人工评估和基于LLM的指标中存在的问题。

2023-10-23cs.AIcs.CL

更多相关论文收起更多论文

Evaluating the Evaluation of Diversity in Natural Language Generation

Tel-Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）

2021-01-24cs.CL

A Survey of Evaluation Metrics Used for NLG Systems

Robert-Bosch Centre for Data Science and AI（罗伯特-博世数据科学与人工智能中心）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）

2020-10-05cs.CL

Defining and Evaluating Fair Natural Language Generation

Harvard University（哈佛大学）

2020-07-28cs.CLcs.LG

MIPE: A Metric Independent Pipeline for Effective Code-Mixed NLG Evaluation

IIT Gandhinagar（印度理工学院甘地纳加尔分校）；TCS Research（塔塔咨询服务公司研究院）

2021-07-24cs.CL

A Dynamic, Interpreted CheckList for Meaning-oriented NLG Metric Evaluation -- through the Lens of Semantic Similarity Rating

Heidelberg University（海德堡大学）

2022-05-24cs.CL

Shared Task on Evaluating Accuracy in Natural Language Generation

University of Aberdeen（阿伯丁大学）

2020-11-06cs.CL

理解 EFL 学生使用 NLG 工具进行创意写作的想法生成策略

Understanding EFL Student Idea Generation Strategies for Creative Writing with NLG Tools

Precious Blood Secondary School（宝血中学）；New York University（纽约大学）；Education University of Hong Kong（香港教育大学）；The University of Hong Kong（香港大学）；Huawei（华为）

本研究通过香港中学生工作坊与反思主题分析，揭示 EFL 学生使用 NLG 工具寻找、评估和选择创意写作想法时的策略与顾虑。

2023-04-22cs.CLcs.CY

Crowd-sourcing NLG Data: Pictures Elicit Better Data

Heriot-Watt University（赫瑞-瓦特大学）

2016-08-01cs.CL

Towards Robust NLG Bias Evaluation with Syntactically-diverse Prompts

University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）

2022-12-03cs.CL

BanglaNLG and BanglaT5: Benchmarks and Resources for Evaluating Low-Resource Natural Language Generation in Bangla

Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of California Los Angeles（加州大学洛杉矶分校）

2023-02-12cs.CL

Dolphin：一个具有挑战性和多样性的阿拉伯语自然语言生成基准

Dolphin: A Challenging and Diverse Benchmark for Arabic NLG

The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）

本文提出了Dolphin基准，包含13项阿拉伯语NLG任务和40个数据集，旨在全面评估阿拉伯语及多语言模型的性能与泛化能力，并提供了公开排行榜和基线。

2023-10-24cs.CL

Data-driven Natural Language Generation: Paving the Road to Success

Heriot-Watt University（赫瑞-瓦特大学）

2017-06-28cs.CL

Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Less Data

Facebook（脸书）；Ohio State University（俄亥俄州立大学）

2020-11-08cs.CL

ETC-NLG：端到端主题条件自然语言生成

ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation

Università degli Studi di Trieste（的里雅斯特大学）；SISSA（国际高等研究院）

提出ETC-NLG方法，利用主题建模标注在无标签文档集合上实现完全无监督的端到端主题条件自然语言生成，并在低资源场景下验证其有效性。

2021-06-22cs.CL

Deconstructing NLG Evaluation: Evaluation Practices, Assumptions, and Their Implications

Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Maryland（马里兰大学）

2022-05-13cs.AIcs.CL

Compression, Transduction, and Creation: A Unified Framework for Evaluating Natural Language Generation

Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum 公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；UC San Diego（加利福尼亚大学圣迭戈分校）

2022-01-21cs.CLcs.LG

用于合成流量生成任务的语言生成模型的评估指标

Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks

Amazon（亚马逊公司）

本文指出常见NLG指标不适用于合成流量生成（STG）任务，提出多个比较生成流量与真实用户文本分布的新指标，并通过自动验证和人工标注证明其有效性，将人类判断一致性提升20%。

2023-11-21cs.CL

All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated Text

University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）

2021-07-07cs.CL

接下来是什么？评估神经文本生成器面对人类产出变异性时的不确定性

What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability

University of Amsterdam（阿姆斯特丹大学）；ITU Copenhagen（哥本哈根信息技术大学）；MCML Munich（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）

本文研究神经文本生成器在NLG任务中面对人类产出变异时的不确定性，通过实例级方法分析模型概率分布与解码算法，证明多采样和多参考探查能更好理解模型的不确定性表示。

2023-10-20cs.AIcs.CLcs.LG

在 NLG 系统的评估中参考文本是否必要？何时以及何处需要？

Is Reference Necessary in the Evaluation of NLG Systems? When and Where?

Shanghai Jiao Tong University（上海交通大学）；IGSNRR, Chinese Academy of Sciences（中国科学院地理科学与资源研究所）

本研究全面评估了无参考文本指标在8个数据集和8个评估模型上的表现，发现其与人类判断相关性更高，但有效性受任务和候选文本质量影响，建议在新任务中谨慎应用。

2024-03-21cs.CL

如何为NLG模型的高效人工评估选择数据点？

How to Select Datapoints for Efficient Human Evaluation of NLG Models?

ETH Zurich（苏黎世联邦理工学院）

本文提出了一套考虑评估成本的数据点选择器，通过指标方差、输出多样性和IRT等方法高效选取人工评估数据，仅需约70%数据即可达到全量数据的评估效果。

2025-05-31cs.CL

自然语言生成

Natural Language Generation

Tilburg University（蒂尔堡大学）；University of Manchester（曼彻斯特大学）

本文概述了自然语言生成（NLG）领域，探讨了其定义、与机器翻译和对话系统的关系，并指出大型语言模型的兴起使自然语言处理各子领域在生成与评估方法上趋于一致。

2025-11-02cs.CL

Towards a Unified Multi-Dimensional Evaluator for Text Generation

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Cognitive Services Research（微软认知服务研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）

2022-10-13cs.CL

自动诗歌生成中的多样性评估

Evaluating Diversity in Automatic Poetry Generation

University of Mannheim（曼海姆大学）；University of Technology Nuremberg (UTN)（纽伦堡工业大学（UTN））；Bielefeld University（比勒费尔德大学）

本研究评估自动诗歌生成（四行诗）的多样性，比较生成与人类诗歌在结构、词汇、语义和文体上的分布，发现现有系统多样性不足，而文体条件化和字符级建模能显著提升多样性。

2024-11-08cs.CL