Automatic Summarization of Natural Language
自然语言的自动摘要是计算机科学研究和工业中的当前主题，由于其跨多个领域的有用性而被研究了几十年。例如，摘要对于创建像这样的评论是必要的。摘要摘要的研究和应用已经取得了一定的成功，但摘要的合成和重述是计算机科学中的一个难题，通常没有得到解决。这篇文献综述对比了当前最先进技术的历史进展，比较了以下维度：提取与抽象，监督与无监督，NLP（自然语言处理）与基于知识，深度学习与算法，结构化与非结构化源，以及测量指标，如Rouge和BLEU。由于目前的研究使用了审查矩阵中所示的方法组合，因此对多个维度进行了对比。在本摘要中，提供了综合和评论。这篇评论的结论与见解，改进抽象摘要测量，与检测一般的理解和理解的惊人的影响。
2018-12-18 cs.CL cs.LG cs.NE
A Study in Improving BLEU Reference Coverage with Diverse Automatic Paraphrasing
University of Edinburgh（爱丁堡大学）；University of Tartu（塔尔图大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们调查了BLEU的典型使用中的一个长期存在的缺点：它依赖于一个单一的引用。使用现代神经释义技术，我们研究自动生成额外的不同参考文献是否可以更好地覆盖有效翻译的空间，从而提高其与人类判断的相关性。我们对WMT19指标任务（在系统和句子层面）的英语语言方向的实验表明，使用释义参考通常会提高BLEU，并且当它这样做时，越多样化越好。然而，我们也表明，更好的结果可以实现，如果这些释义是专门针对的部分空间最相关的MT输出进行评估。此外，即使使用人类释义，收益仍然很小，这表明BLEU正确利用多个引用的能力存在固有的局限性。令人惊讶的是，我们还发现，充分性似乎不那么重要，正如强抽样方法的高结果所示，当与高级BLEU一起使用时，该方法甚至击败了人类的释义。
2020-10-08 cs.CL
Automatic Answerability Evaluation for Question Generation
Tokyo Institute of Technology（东京工业大学）
本文提出PMAN指标，通过评估生成问题能否由参考答案回答来弥补BLEU等传统指标在QG任务中的不足，实验证明其可靠且与人类评估一致，并基于GPT实现达到最先进性能。
2024-02-26 cs.CL
Perception Score, A Learned Metric for Open-ended Text Generation Evaluation
University of California, Davis（加利福尼亚大学戴维斯分校）
开放式自然语言生成任务的自动评估仍然是一个挑战。BLEU等现有指标与人类判断的相关性较低。我们提出了一种新颖而强大的基于学习的评估指标：感知分数。该方法从整体上衡量生成的整体质量并进行评分，而不是只关注一个评估标准，例如单词重叠。此外，它还显示了其评估结果的不确定性。感知评分通过将不确定性联系起来，对发电系统给出了更准确的评价。Perception Score提供了两个条件生成任务和两个无条件生成任务的最新结果。
2020-08-18 cs.CL cs.LG
Why We Need New Evaluation Metrics for NLG
School of Mathematical and Computer Sciences（数学与计算机科学学院）；Heriot-Watt University（赫瑞瓦特大学）
大多数NLG评估依赖于自动指标，例如BLEU。在本文中，我们激发了对新的，系统和数据独立的自动评估方法的需求：我们调查了广泛的指标，包括最先进的基于单词和基于语法的指标，并证明它们只能微弱地反映数据驱动的端到端NLG生成的系统输出的人类判断。我们还表明，指标性能是数据和系统特定的。尽管如此，我们的研究结果还表明，自动度量在系统级可靠地执行，并可以通过查找系统性能不佳的情况来支持系统开发。
2017-07-21 cs.CL
Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics
The University of Melbourne（墨尔本大学）
自动度量是机器翻译系统开发和评估的基础。判断自动化指标是否以及在多大程度上符合人类评估的黄金标准并不是一个简单的问题。我们发现，目前的方法来判断指标是高度敏感的翻译用于评估，特别是存在的离群值，这往往会导致错误的信心的结论度量的有效性。最后，我们转向成对系统排名，开发了一种在自动度量下针对人类判断的阈值性能改进方法，该方法允许量化I型与II型错误，即，在系统质量方面，可接受的人为差异不显著，而拒绝的人为差异显著。总之，这些研究结果建议改进的协议，在机器翻译的度量评估和系统性能评估。
2020-06-12 cs.CL
Nearest Neighbor Machine Translation
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）
我们介绍了$k$ -最近邻机器翻译（$k$ NN-MT），它使用神经翻译模型的表示进行相似性搜索，在大量缓存示例中使用最近邻分类器预测令牌。这种方法不需要额外的训练和缩放，就可以让解码器在测试时直接存取数十亿个示例，从而产生一个高度表达的模型，在许多设置中始终提高性能。简单地添加最近邻搜索将最先进的德英翻译模型提高了1.5 BLEU。$k$ NN-MT通过使用特定于域的训练器，允许单个模型适应不同的域，在zero-shot传输上将结果平均提高9.2 BLEU，并实现新的最先进的结果-无需在这些域上进行训练。一个大规模的多语言模型也可以专门用于特定的语言对，并在从英语翻译成德语和中文方面进行了3 BLEU的改进。同样，$k$ NN-MT易于解释;它结合了源和目标上下文来检索高度相关的示例。
2021-07-22 cs.CL
Latent Tree Decomposition Parsers for AMR-to-Text Generation
University of Rochester（罗切斯特大学）
AMR到文本生成模型中的图形编码器通常依赖于邻域卷积或全局顶点注意力。虽然这些方法适用于一般图，但AMR可能适用于以其树状结构为目标的编码器。通过将边聚类到层次结构中，树分解总结了图结构。我们的模型编码的衍生森林的树分解和提取预期的树。从树节点嵌入，它建立了用于图编码器的顶点注意的图边缘特征。在自主基线中编码TD森林而不是最短成对路径使BLEU提高了0.7，chrF++提高了0.3。森林编码器还超过了1. 92% ROC-AUC的分子性质预测的卷积基线。
2021-09-01 cs.CL
GuideWeb: A Benchmark for Automatic In-App Guide Generation on Real-World Web UIs
Techtouch Inc.（Techtouch公司）；University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institute of Advanced Technology Chinese Academy of Sciences（中国科学院深圳先进技术研究所）；Yokohama National University（Yokohama国立大学）
GuideWeb提出一个用于真实世界Web UI的自动应用内引导生成基准测试，通过选择引导目标元素和生成用户意图文本，实验显示其在引导目标预测和生成质量上优于现有基线。
2026-02-02 cs.CL
Sequence-to-Sequence Learning for Indonesian Automatic Question Generator
问题自动生成是指在给定各种文本数据的情况下，自动生成问题的任务。自动问题生成器的研究已经有十多年的历史，主要集中在事实性问题上。在所有这些研究中，最先进的是使用序列到序列的方法。然而，针对印尼的AQG系统还没有得到深入的研究。在这项工作中，我们构建了一个印尼自动问题生成器，适应架构从以前的一些作品。总之，我们使用了序列到序列的方法，使用了BiGRU、BiLSTM和Transformer，以及额外的语言特征、复制机制和覆盖机制。由于没有公共的大型和流行的印度尼西亚数据集用于问题生成，我们翻译了SQuAD v2.0 factoid问答数据集，并使用额外的印度尼西亚TyDiQA开发集进行测试。SQuAD的BLEU 1、BLEU 2、BLEU 3、BLEU 4和ROUGE-L评分分别为38，35，20，96，10，68，5，78和43，4; TyDiQA的BLEU 1、BLEU 2、BLEU 3、BLEU 4和ROUGE-L评分分别为39.9，20.78，10.26，6.31，44.13。当预期的答案是命名实体并且在语法上与解释它们的上下文接近时，系统表现良好。此外，从印尼本地人的角度来看，我们的最佳模型在其最佳案例中生成的最佳问题是可以接受的，并且相当有用。
2020-09-29 cs.CL
A Critical Study of Automatic Evaluation in Sign Language Translation
本研究针对手语翻译现有文本类自动评估指标可靠性不明的问题，对比分析传统词汇重叠指标与大语言模型类评估器在三类受控条件下的表现，指出两类指标的局限，提出需构建多模态评估框架。
2025-11-14 cs.CL
A Human Evaluation of AMR-to-English Generation Systems
Georgetown University（乔治城大学）
用于从抽象意义表示（AMR）生成英语文本的大多数当前最先进的系统仅使用自动化度量（诸如BLEU）来评估，已知自动化度量对于自然语言生成是有问题的。在这项工作中，我们提出了一个新的人类评估的结果，收集流畅性和充分的分数，以及分类的错误类型，最近的AMR生成系统。我们讨论了这些系统的相对质量，以及我们的结果与自动指标的比较，发现虽然指标在整体排名系统中大多是成功的，但收集人类判断可以进行更细致的比较。我们还分析了这些系统所犯的常见错误。
2020-12-01 cs.CL
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）；Computer Science and Engineering（计算机科学与工程）；University of Michigan（密歇根大学）
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破，但它们的输出通常是“漫无边际”的，没有连贯的内容。在这项工作中，我们提出了一种新的内容控制的文本生成框架，PAIR，规划和迭代细化，这是建立在一个大的模型，BART。我们首先适应BERT模型自动构建的内容计划，包括关键词分配和相应的文档级别的位置。BART模型用于生成，而不修改其结构。然后，我们提出了一个细化算法，逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明，添加规划一致地提高了三个不同领域的生成质量，平均提高了20个BLEU点和12个METEOR点。此外，人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
Reward Optimization for Neural Machine Translation with Learned Metrics
NAVER AI Lab（NAVER AI实验室）
神经机器翻译（NMT）模型传统上是用标记级负对数似然（NLL）训练的，这不能保证所生成的翻译将针对所选择的序列级评估度量进行优化。提出了多种方法来训练NMT与BLEU作为奖励，以直接提高度量。然而，据报道，BLEU的增益并没有转化为真正的质量改进，限制了工业应用。最近，社区清楚地看到，在处理最先进的模型时，BLEU与人类判断的相关性很低。这导致了基于模型的评价指标的出现。这些新指标显示出更高的人类相关性。在本文中，我们研究了使用最先进的基于模型的度量BLEURT优化NMT模型是否有益。我们提出了一种适用于大型NMT模型的快速和稳定的奖励优化的对比边际损失。在实验中，我们执行自动和人工评估，将使用平滑BLEU和BLEURT训练的模型与基线模型进行比较。结果表明，与使用平滑BLEU训练时的有限增益相比，使用BLEURT的奖励优化能够大幅提高度量分数。人工评估表明，使用BLEURT训练的模型提高了翻译的充分性和覆盖率。代码可通过https://github.com/naver-ai/MetricMT获得。
2021-04-15 cs.CL cs.LG
BLEU might be Guilty but References are not Innocent
Google Research（谷歌研究院）
机器翻译的自动度量的质量越来越受到质疑，特别是对于高质量的系统。本文表明，虽然度量的选择是重要的，性质的参考也是至关重要的。我们研究了不同的方法来收集参考文献，并通过报告各种系统和指标与人工评估的相关性来比较它们在自动评估中的价值。动机的发现，典型的参考文献表现出差的多样性，集中在英语语言，我们开发了一个释义任务，语言学家执行现有的参考翻译，这抵消了这种偏见。我们的方法不仅对于WMT 2019英语到德语的提交，而且对于反向翻译和APE增强的MT输出，都与人类判断产生了更高的相关性，这些输出已被证明与使用标准参考的自动指标相关性较低。我们证明了我们的方法提高了与我们所研究的所有现代评估指标的相关性，包括基于嵌入的方法。为了完成这幅图，我们揭示了多参考BLEU不会提高高质量输出的相关性，并提出了一种更有效的替代多参考公式。
2020-10-20 cs.AI cs.CL cs.LG
CodeBLEU: a Method for Automatic Evaluation of Code Synthesis
Beihang University（北京航空航天大学）；Sun Yat-sen University（中山大学）；Peking University（北京大学）；Microsoft（微软公司）
评估指标在一个领域的发展中起着至关重要的作用，因为它定义了区分好模型和坏模型的标准。在代码合成领域，常用的评价指标是BLEU或完全准确度，但它们并不适合于代码的评价，因为BLEU最初是为评价自然语言而设计的，忽略了代码重要的句法和语义特征，而完全准确度过于严格，低估了具有相同语义逻辑的不同输出。为了解决这个问题，我们引入了一个新的自动评估指标，称为CodeBLEU。它吸收了BLEU在n-gram匹配中的优势，并通过抽象语法树（AST）进一步注入代码语法，并通过数据流注入代码语义。我们通过评估CodeBLEU和程序员在三个代码合成任务上分配的质量分数之间的相关系数来进行实验，即，文本到代码、代码翻译和代码细化。实验结果表明，我们提出的CodeBLEU可以实现更好的相关性与程序员分配的分数相比，BLEU和准确性。
2020-09-27 cs.CL cs.SE
Multilingual k-Nearest-Neighbor Machine Translation
University of Amsterdam（阿姆斯特丹大学）
本文提出将多种语言表示组合到单一数据存储中，解决k近邻机器翻译在低资源语言上的局限，不仅提升了低资源翻译质量，还通过利用语言相似性缩小数据存储规模并大幅提高速度。
2023-10-23 cs.CL
Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
University of Turin（都灵大学）；Nuance Communications Inc.（Nuance通讯公司）
基于transformer的模型在自然语言生成中表现出了很好的模式和结构捕捉能力，并在许多任务中取得了最先进的结果。在本文中，我们提出了一个基于transformer的多轮对话响应生成模型。我们的解决方案是基于一种混合的方法，它增强了基于变换的生成模型与一种新的检索机制，它利用记忆的信息，通过k-最近邻搜索的训练数据。我们的系统在两个由客户/助理对话框制作的数据集上进行评估：由Google发布的Taskmaster-1，拥有高质量，面向目标的会话数据和从真实客户服务呼叫中心收集的专有数据集。两者都能在强基线上获得更好的BLEU分数。
2021-05-19 cs.AI cs.CL
Automatic Standardization of Colloquial Persian
University of Pennsylvania（宾夕法尼亚大学）；Institute for Humanities and Cultural Studies（人文与文化研究所）；Institute for Cognitive Science Studies（认知科学研究所）
伊朗波斯语有两种变体：标准语和口语。大多数波斯语的自然语言处理工具都假设文本是标准格式的：这种假设在许多实际应用中是错误的，尤其是Web内容。本文描述了一种简单有效的标准化方法，基于序列到序列的翻译。我们设计了一种算法，用于生成人工并行口语到标准数据，用于学习序列到序列模型。此外，我们注释了一个公开可用的评估数据，包括1912个句子，从一个不同的域。我们的内在评估显示，与现成的基于规则的标准化模型（原始文本的BLEU得分为46.4）相比，BLEU得分更高，为62.8比61.7。我们还表明，在训练数据来自口语波斯语的情况下，我们的模型可以改进英语到波斯语的机器翻译，开发数据中的BLEU绝对评分差异为1.4，而测试数据中的BLEU绝对评分差异为0.8。
2020-12-10 cs.CL
Harnessing Indirect Training Data for End-to-End Automatic Speech Translation: Tricks of the Trade
Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
对于自动语音翻译（AST），端到端方法的性能优于级联模型，级联模型使用自动语音识别（ASR）进行转录，然后使用机器翻译（MT）进行翻译。性能差距的主要原因是，虽然现有的AST语料库很小，但ASR和MT子系统都存在大量数据集。在这项工作中，我们评估了几个数据增强和AST的预训练方法，通过比较所有相同的数据集。通过翻译ASR成绩单的简单数据增强在英语-法语增强的LibriSpeech数据集上证明是最有效的，与可以直接利用大量ASR和MT数据的非常强大的级联相比，它缩小了从8.2到1.4 BLEU的性能差距。同样的端到端方法加上微调缩小了英语-罗马尼亚Must-C数据集从6.7到3.7 BLEU的差距。除了这些结果，我们提出了实用的建议，增强和预训练的方法。最后，我们使用基于transformer的架构将性能差距减小到0.01 BLEU。
2019-10-22 cs.CL cs.SD eess.AS
Automatic Code Generation using Pre-Trained Language Models
Stanford University（斯坦福大学）
自然语言处理\cite{gpt2} \cite{BERT}的最新进展已经导致在多个自然语言任务中接近人类的性能。在本文中，我们试图了解类似的技术是否可以应用到一个高度结构化的环境，严格的语法规则。具体来说，我们提出了一个端到端的机器学习模型，用于在Python语言中构建在预训练的语言模型之上的代码生成。我们证明了一个微调的模型可以在代码生成任务中表现良好，达到了0.22的BLEU分数，比合理的序列到序列基线提高了46%。所有用于训练和数据处理的结果和相关代码都可以在GitHub上找到。
2021-02-21 cs.CL cs.LG
Does BLEU Score Work for Code Migration?
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Iowa State University（爱荷华州立大学）
统计机器翻译（SMT）是计算语言学的一个快速发展的分支。到目前为止，衡量SMT质量最流行的自动度量标准是双语评估替补（BLEU）分数。最近，SMT与BLEU度量一起被应用于名为代码迁移的软件工程任务。验证BLEU评分的使用可以促进基于SMT的代码迁移工具的研究和开发。不幸的是，没有研究批准或不批准对源代码使用BLEU评分。在本文中，我们进行了一个实证研究的BLEU评分（中）验证其适用于代码迁移任务，由于其无法反映源代码的语义。在我们的工作中，我们使用人类的判断作为地面真理来衡量迁移代码的语义正确性。我们的实证研究表明，BLEU不反映翻译质量，由于其弱相关性的翻译代码的语义正确性。我们提供了反例来证明BLEU在比较基于SMT的模型之间的翻译质量方面是无效的。由于BLEU的代码迁移任务的无效性，我们提出了一个替代度量RUBY，它考虑了源代码的词法，语法和语义表示。我们验证了RUBY与迁移代码的语义正确性达到了更高的相关系数，0.775，而BLEU得分为0.583。我们还证实了RUBY在反映基于SMT的翻译模型的翻译质量变化方面的有效性。RUBY的优点使得它可以用来评估基于SMT的代码迁移模型。
2019-06-12 cs.CL cs.SE
An Automatic Evaluation of the WMT22 General Machine Translation Task
本报告提出了一个自动评估的一般机器翻译任务的第七届会议上机器翻译（WMT 22）。它评估了21个翻译方向的185个系统，包括高资源到低资源的语言对以及与遥远语言密切相关的语言对。这种大规模的自动评估突出了当前最先进的机器翻译系统的一些局限性。它还展示了自动度量，即chrF，BLEU和COMET，如何补充自己，以减轻自己在可解释性和准确性方面的限制。
2022-11-09 cs.CL
Spatio-temporal transformer to support automatic sign language translation
Universidad Industrial de Santander（桑坦德工业大学）
本文提出一种基于Transformer的时空手语翻译架构，通过卷积与注意力机制同时建模局部和长程手势信息，在CoL-SLTD和PHOENIX14T上分别取得46.84%和30.77%的BLEU4，验证了其对真实手语变体的鲁棒性。
2025-02-04 cs.CL
On The Evaluation of Machine Translation Systems Trained With Back-Translation
Facebook AI Research（Facebook 人工智能研究院）
反向翻译是一种广泛使用的数据增强技术，它利用目标单语数据。然而，它的有效性受到了挑战，因为BLEU等自动度量仅在源代码本身是翻译或翻译的测试示例中显示出显着的改进。这被认为是由于翻译输入更好地匹配反翻译的训练数据。在这项工作中，我们表明，这一猜想是没有经验支持，回译提高了翻译质量的自然发生的文本，以及根据专业的人类翻译。我们提供了经验证据来支持这样的观点，即回译是首选的人类，因为它产生更流畅的输出。BLEU无法捕捉人类的偏好，因为当源句子是自然文本时，引用是抽象的。我们建议使用语言模型分数来补充BLEU，以衡量流利程度。
2020-08-18 cs.CL
Sign Language Translation from Instructional Videos
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Amazon（亚马逊）
本文首次在大型广泛数据集How2Sign上建立手语翻译基线，用I3D特征训练Transformer并以缩减BLEU验证，取得8.03的BLEU分数并开源实现。
2023-04-14 cs.CL cs.CV
Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers
National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文首次对机器翻译进行了大规模的元评估。我们对2010年至2020年发表的769篇研究论文进行了MT评价。我们的研究表明，在过去的十年中，自动MT评估的实践发生了巨大的变化，并遵循有关的趋势。越来越多的MT评估完全依赖于BLEU分数之间的差异来得出结论，而不进行任何统计显著性测试或人工评估，同时至少有108个指标声称比BLEU更好。在最近的论文中，MT评估倾向于复制和比较以前工作中的自动度量分数，以声称方法或算法的优越性，而不确认是否使用了完全相同的训练，验证和测试数据，也没有度量分数是可比的。此外，报告标准化指标分数的工具还远未被机器翻译界广泛采用。在展示了这些陷阱的积累如何导致可疑的评估之后，我们提出了一个指导方针，以鼓励更好的自动MT评估，并提出了一个简单的元评估评分方法来评估其可信度。
2021-06-29 cs.CL
Assessing the Quality of MT Systems for Hindi to English Translation
Banasthali University（巴纳斯塔利大学）；CDAC（电子发展公司）
评价在检查机器翻译输出质量方面起着至关重要的作用。它可以手动或自动完成。手动评估非常耗时且主观，因此大多数情况下使用自动度量。本文使用BLEU、METEOR等自动化指标对不同机器翻译引擎的印地语-英语（印地语数据作为输入，英语作为输出）翻译质量进行了评估，并将自动化评估结果与人工排名进行了比较。
2014-04-15 cs.CL
Beyond User Self-Reported Likert Scale Ratings: A Comparison Model for Automatic Dialog Evaluation
Stanford University（斯坦福大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
开放域对话系统的评价是对话研究中的一个重要挑战。现有的自动评估指标，如BLEU，大多是基于参考的。它们计算生成的响应与有限数量的可用引用之间的差异。基于Likert评分的自我报告用户评级被社交会话系统广泛采用，例如Amazon Alexa Prize聊天机器人。然而，自我报告的用户评级遭受偏见和不同用户之间的差异。为了缓解这个问题，我们制定对话评价作为一个比较任务。我们还提出了一个自动评估模型CMADE（自动对话评估比较模型），它可以自动清除自我报告的用户评级，因为它对他们进行训练。具体来说，我们首先使用自监督方法来学习更好的对话特征表示，然后使用KNN和Shapley来去除令人困惑的样本。我们的实验表明，CMADE达到89.2%的准确率在对话比较任务。
2020-06-12 cs.AI cs.CL cs.LG
SubER: A Metric for Automatic Evaluation of Subtitle Quality
AppTek（AppTek公司）；Athena Consultancy（雅典娜咨询公司）
本文讨论了自动生成字幕的质量评估问题，它不仅包括机器转录或翻译语音的质量，而且还包括行分割和字幕定时的质量。我们提出了SubER -一个单一的新的度量标准的基础上编辑距离的变化，考虑到所有这些字幕属性。我们将其与现有的用于评估转录，翻译和字幕质量的指标进行比较。在后期编辑场景中仔细的人工评估表明，新的度量与后期编辑工作和直接人工评估分数具有高度相关性，优于仅考虑字幕文本的基线度量，例如WER和BLEU，以及现有的方法来集成分割和定时功能。
2022-05-11 cs.CL
Improved Long-Form Spoken Language Translation with Large Language Models
Google Research（谷歌研究院）
口语翻译面临的一个挑战是，大量的口语内容是长形式的，但短单元是获得高质量翻译所必需的。为了解决这种不匹配的问题，我们微调了一个通用的大语言模型，将长的ASR记录分割成可以独立翻译的片段，以最大限度地提高整体翻译质量。我们比较了几种分割策略，发现我们的方法在三种语言上的BLEU分数与自动标点基线相比平均提高了2.7 BLEU。此外，我们证明了两种约束解码策略的有效性，以提高良好的形式的模型输出从99%以上到100%。
2022-12-19 cs.CL
Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses
McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
自动评估非结构化领域的对话响应的质量是一个具有挑战性的问题。不幸的是，现有的自动评估指标是有偏见的，相关性非常差，与人类的反应质量的判断。然而，拥有一个准确的自动评估程序对对话研究至关重要，因为它允许快速原型设计和测试新模型，减少昂贵的人工评估。为了应对这一挑战，我们制定了自动对话评估作为一个学习问题。我们提出了一个评估模型（ADEM），学习预测人类的分数输入响应，使用一个新的数据集的人的反应分数。我们发现，ADEM模型的预测相关性显着，并在一个比词的重叠指标，如BLEU，与人类的判断，在话语和系统级的水平高得多。我们还表明，ADEM可以推广到评估在训练过程中看不见的对话模型，自动对话评估的重要一步。
2018-01-16 cs.AI cs.CL cs.LG
Automatic Acrostic Couplet Generation with Three-Stage Neural Network Pipelines
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd（平安科技（深圳）有限公司）
对联是中国传统文化的精髓之一，它包含了两个长度相等的句子，即前句和后句。此外，在一定的语义和/或句法相关性的限制下，两个分句中相同位置的对应字符和短语彼此配对。对联的自动生成是人工智能领域的一个具有挑战性的课题。本文对用户自定义首字的离合对联自动生成进行了较为全面的研究。完整的对联生成过程主要分为三个阶段，即先行从句生成流水线、后续从句生成流水线和从句重排序器。为了实现两个小句之间的语义和/或句法相关性，使用基于注意力的序列到序列（S2 S）神经网络。此外，为了提供用于重新排序的不同的对候选，将基于聚类的束搜索方法并入到S2 S网络中。BLEU指标和人类的判断都证明了我们所提出的方法的有效性。最后，基于该生成系统开发了一个小程序，并部署在微信上供真实用户使用。
2019-06-15 cs.CL cs.LG
The price of debiasing automatic metrics in natural language evaluation
Stanford University（斯坦福大学）
为了评估发电系统，BLEU等自动指标运行起来没有任何成本，但已被证明与人类判断相关性很差，导致对某些模型改进的系统性偏见。另一方面，平均人类的判断，无偏见的黄金标准，往往过于昂贵。在本文中，我们使用控制变量结合自动度量与人类的评价，以获得一个无偏估计比人类的评价成本更低。然而，在实践中，我们在评估摘要和开放式应答问答系统上仅获得7-13%的成本降低。然后，我们证明我们的估计是最优的：没有无偏估计具有较低的成本。我们的理论进一步强调了两个基本瓶颈-自动度量和显示给人类评估者的提示-这两者都需要改进以获得更大的成本节约。
2018-07-06 cs.CL
Subjective and Objective Evaluation of English to Urdu Machine Translation
Banasthali University（巴纳斯塔利大学）
机器翻译是一个基于研究的领域，评价是检验机器翻译输出质量的一个非常重要的现象。这项工作是基于英语到乌尔都语机器翻译的评价。在这项研究工作中，我们已经评估了翻译质量的乌尔都语已使用不同的机器翻译系统，如谷歌，巴比伦和Ijunoon。评估过程是通过使用两种方法-人工评估和自动评估。我们已经为这两种方法工作，其中在人类评估重点是尺度和参数，而在自动评估重点是一些自动度量，如BLEU，GTM，METEOR和ATEC。
2013-10-02 cs.CL
Comparison and Adaptation of Automatic Evaluation Metrics for Quality Assessment of Re-Speaking
重新说话是一种获得高质量字幕的机制，用于现场直播和其他公共活动。因为它依赖于人类执行实际的复述，所以估计结果质量的任务是不平凡的。大多数组织依靠人类来执行实际的质量评估，但对于其他类似问题，如机器翻译，已经开发了纯自动方法。本文将尝试比较几种方法：BLEU，EBLEU，NIST，METEOR，METEOR-PL，TER和RIBES。然后，这些将被匹配到人类派生的NER度量，通常用于重新说话。
2016-01-12 cs.CL stat.AP stat.ML
Human-Paraphrased References Improve Neural Machine Translation
Google Research（谷歌研究院）
Freitag等人最近提出了将候选翻译与人类生成的参考翻译的释义进行比较的自动评估。当用于代替原始参考时，释义版本产生与人类判断更好相关的度量分数。这种效果适用于各种不同的自动度量，并且倾向于支持自然的公式而不是更字面的公式。在本文中，我们比较了使用标准和释义参考执行端到端系统开发的结果。与国家的最先进的英语-德语NMT组件，我们表明，调整到释义的参考产生一个系统，是显着更好地根据人类的判断，但5 BLEU点差时，测试标准参考。我们的工作证实了这一发现，即释义参考产生的度量分数与人类的判断更好地相关，并首次证明，使用这些分数的系统开发可以导致显着的改善。
2020-10-20 cs.CL cs.LG
Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；College of Natural Sciences（自然科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尽管在开放领域的对话系统的进步，这样的系统的自动评估仍然是一个具有挑战性的问题。传统的基于引用的指标（如BLEU）是无效的，因为对于给定的上下文可能有许多有效的响应，这些响应与引用响应没有共同的单词。最近的一项工作提出了参考度量和未参考度量混合评估例程（RUBER），将基于学习的度量（预测生成的响应与给定查询之间的相关性）与基于参考的度量相结合;它与人类判断具有高度相关性。在本文中，我们探索使用上下文词嵌入来计算更准确的相关性分数，从而更好的评价指标。实验表明，我们的评估指标优于在静态嵌入上训练的RUBER。
2019-04-24 cs.CL
Quality Estimation with $k$-nearest Neighbors and Automatic Evaluation for Model-specific Quality Estimation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Technical University of Munich（慕尼黑工业大学）
提出基于$k$近邻的无监督特定模型质量估计方法$k$NN-QE，并设计了使用基于参考指标作为黄金标准的自动评估方法验证其有效性。
2024-04-27 cs.CL
Unlocking Structure Measuring: Introducing PDD, an Automatic Metric for Positional Discourse Coherence
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
针对现有指标难以衡量长文本语篇连贯性的问题，本文提出自动指标 PDD 来量化两篇文章的语篇分歧，并在三个领域数据集上验证其更贴合人类与 GPT-4 评价。
2024-04-02 cs.CL
Learning to Generate Questions with Adaptive Copying Neural Networks
Carleton University（卡尔顿大学）
问句自动生成是自然语言处理中的一个重要问题。在本文中，我们提出了一种新的自适应复制递归神经网络模型，以解决问题的生成从句子和段落。该模型在双向LSTM架构上增加了一个复制机制组件，以自适应地从输入数据中生成更合适的问题。我们的实验结果表明，该模型可以优于国家的最先进的问题生成方法在BLEU和ROUGE的评价分数。
2019-09-17 cs.CL cs.LG stat.ML
Automatic Dataset Generation for Knowledge Intensive Question Answering Tasks
The Alan Turing Institute（艾伦·图灵研究所）；King’s College London（伦敦国王学院）；University of Southampton（南安普顿大学）
针对现有QA系统及RAG在复杂推理上的不足，提出通过LLM自动生成基于上下文的问答对来微调模型的方法，实验证明该方法可提升模型逻辑与事实准确性，Mistral-7b-v0.3表现优于Llama-3-8b。
2025-05-20 cs.AI cs.CL
Findings of the First Shared Task on Machine Translation Robustness
Facebook AI（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；MIT（麻省理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）；Google AI（谷歌人工智能研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们分享了第一个共享任务的发现，即提高机器翻译（MT）的鲁棒性。该任务提供了一个测试平台，代表了现实世界中部署的MT模型所面临的挑战，并促进了改进模型的新方法;对噪声输入和域失配的鲁棒性。我们专注于两种语言对（英语-法语和英语-日语），提交的系统在盲测集上进行评估，盲测集由Reddit上的嘈杂评论和专业翻译组成。作为一项新任务，我们收到了来自大学、公司、国家实验室等11个参与团队的23份提交，所有提交的系统都比基线有了很大的改进，最好的改进是+22.33 BLEU。我们通过人工判断和自动评估（BLEU）评估了提交的内容，显示出高度相关性（Pearson r = 0.94和0.95）。此外，我们使用compare-mt对提交的系统进行了定性分析，揭示了它们在处理这项任务中的挑战方面的显着差异。当人类判断和BLEU之间偶尔存在分歧时，这种分析提供了额外的见解，例如，更好地产生口语表达的系统从人类判断中获得更高的分数。
2019-07-03 cs.CL
Evaluation of Automatic Video Captioning Using Direct Assessment
ADAPT Research Centre（ADAPT研究中心）；Dublin City University（都柏林城市大学）；National Institute of Standards and Technology（美国国家标准与技术研究院）；Dakota Consulting, Inc.（达科他咨询公司）；Insight Centre for Data Analytics（洞察数据分析中心）
我们提出了直接评估，手动评估自动生成的视频字幕的质量的方法。评估视频字幕的准确性是特别困难的，因为对于任何给定的视频剪辑，没有明确的地面真相或正确的答案来衡量。2016年的TRECVid视频描述任务中使用了自动指标，用于将自动视频字幕与BLEU和METEOR等手动字幕进行比较，这些指标来自评估机器翻译的技术，但这些指标存在缺陷。这里介绍的工作通过众包字幕描述视频的方式将人类评估纳入评估。我们会自动降低一些手动评估的样本字幕的质量，并由此对人工评估员的质量进行评级，这是我们在评估中考虑的一个因素。使用2016年TRECVID视频到文本任务的数据，我们展示了我们的直接评估方法是如何可复制和强大的，并且应该扩展到有许多字幕生成技术需要评估的地方。
2017-10-29 cs.CL
Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach
Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）
在交互式环境下对对话系统进行可靠的自动评估是一个长期的问题。评估对话系统的理想环境，也称为图灵测试，需要涉及人类交互，这通常是大规模实验所无法承受的。尽管研究人员试图使用度量（例如，困惑，BLEU）或一些基于基于模型的强化学习方法（例如，自我评价），但这些方法在实践中仅显示出与实际人类评价的非常弱的相关性。为了弥补这一差距，我们提出了一个新的框架，名为ENIGMA估计人类的评价分数的基础上，在强化学习的政策外评价的最新进展。ENIGMA只需要少量预先收集的经验数据，因此在评估过程中不涉及人类与目标策略的交互，使自动评估成为可能。更重要的是，ENIGMA是无模型的，并且对收集体验数据的行为策略不可知（详见第2节），这大大降低了对复杂对话环境和人类行为建模的技术难度。我们的实验表明，ENIGMA在与人类评估分数的相关性方面显着优于现有方法。
2021-09-21 cs.AI cs.CL cs.LG
On the use of human reference data for evaluating automatic image descriptions
Tilburg University（蒂尔堡大学）
自动图像描述系统通常使用众包、人类生成的图像描述进行训练和评估。然后使用与参考数据（BLEU，Meteor，CIDER等）的某种相似性度量来确定性能最佳的系统。因此，系统的质量以及评价的质量都取决于描述的质量。如第2节所示，当前图像描述数据集的质量不足。我认为，有必要更详细的指导方针，考虑到视障用户的需求，但也产生合适的描述的可行性。有了高质量的数据，图像描述系统的评估可以使用参考描述，但我们也应该寻找替代品。
2020-06-15 cs.CL cs.CV cs.HC
HintMiner: Automatic Question Hints Mining From Q&A Web Posts with Language Model via Self-Supervised Learning
HintMiner利用自监督学习的语言模型从问答帖子中自动挖掘提示，通过Transformer和复制机制生成提示，在6万条Stack Overflow问题上取得BLEU 36.17%和ROUGE-2 36.29%的效果。
2026-09-16 cs.AI cs.CL cs.LG
BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation
University of Maryland（马里兰大学）；Facebook AI Research（脸书人工智能研究院）
挖掘的双文本可能包含不完美的翻译，为神经机器翻译（NMT）产生不可靠的训练信号。虽然过滤掉这样的配对可以提高最终的模型质量，但我们认为，在低资源条件下，即使挖掘的数据也是有限的，这是次优的。在我们的工作中，我们建议通过自动编辑来细化挖掘的双文本：给定一个语言xf的句子，以及它的一个可能不完美的翻译xe，我们的模型生成一个修订的版本xf'或xe'，产生一个更等价的翻译对（即，<xf，xe '>或<xf'，xe>）。我们使用一种简单的编辑策略，通过（1）挖掘给定双文本中每个句子的潜在不完美翻译，（2）学习一个模型来重建原始翻译并以多任务方式进行翻译。实验表明，我们的方法成功地提高了5个低资源语言对和10个翻译方向的CCMatrix挖掘的bitext的质量高达~ 8 BLEU点，在大多数情况下，提高了有竞争力的反向翻译基线。
2022-05-30 cs.CL
Evaluating Dialogue Generation Systems via Response Selection
Tohoku University（东北大学）；RIKEN（理化学研究所）
现有的开放域对话响应生成系统的自动评估指标与人类评估的相关性很差。我们专注于通过响应选择来评估响应生成系统。为了通过响应选择正确地评估系统，我们提出了一种方法来构建响应选择测试集与精心挑选的假候选人。具体来说，我们建议构建测试集过滤掉某些类型的错误候选人：（i）那些无关的地面真相的反应和（ii）那些可接受的适当的反应。通过实验，我们表明，通过响应选择与我们的方法开发的测试集评估系统与人类的评价更强的相关性，与广泛使用的自动评价指标，如BLEU相比。
2020-04-29 cs.CL
Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues using BERT
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）
本文提出了一种自动评价对话系统中自然语言生成自然度的方法。虽然这个任务以前是通过昂贵和耗时的人工渲染，我们提出了这个新的任务生成的语言的自动自然度评估。通过微调的BERT模型，我们提出的自然度评价方法显示出强大的结果，并优于基线：支持向量机，双向LSTM，和BLEURT。此外，通过对质量和信息量较高的语言知识进行迁移学习，提高了自然度模型的训练速度和评价性能。
2021-11-26 cs.AI cs.CL
JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models
Keio University（庆应义塾大学）
针对现有n元语法类图像字幕评估指标与人类评估相关性低、日语缺乏等效指标的问题，提出基于场景图的日语评估指标JaSPICE，实验证明其与人类评估的相关性优于基线指标。
2023-11-07 cs.CL cs.CV
UMASS_BioNLP at MEDIQA-Chat 2023: Can LLMs generate high-quality synthetic note-oriented doctor-patient conversations?
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
UMASS_BioNLP团队在MEDIQA-Chat 2023 Task-C中提出医患循环LLMs协作系统，生成高质量医患对话数据集，在多项自动指标上表现合理，并与ChatGPT和GPT-4对比验证了其有效性。
2023-06-29 cs.AI cs.CL
To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation
Microsoft（微软）
自动度量通常被用作宣布一个机器翻译系统的质量优于另一个系统的唯一工具。自动度量的社区选择通过决定哪些模型被认为是更好的来指导研究方向和工业发展。评估指标与人类判断集的相关性受到这些集的大小的限制。在本文中，我们证实了如何可靠的指标，在对比人类的判断-尽我们所知-最大的收集文献中报道的判断。可以说，两个系统的成对排名是研究或部署场景中最常见的评估任务。以人类判断为金标准，我们调查哪些指标在预测此类系统对的翻译质量排名方面具有最高的准确性。此外，我们评估了不同语言对和领域的各种指标的性能。最后，我们表明，单独使用BLEU阻碍了改进模型的开发，导致错误的部署决策。我们发布了4380个系统的230万个高级人类判断的集合，以进一步分析和复制我们的工作。
2021-09-13 cs.CL
Towards the evaluation of automatic simultaneous speech translation from a communicative perspective
Mainz University（美因茨大学）；KUDO
近年来，由于人工智能的进步，特别是在语音识别和机器翻译领域的进步，自动语音到语音和语音到文本翻译已经获得了动力。这类应用程序的质量通常使用自动度量标准（如BLEU）进行测试，主要目的是评估版本的改进或评估活动。然而，很少有人知道这样的系统的输出是如何被最终用户感知的，或者它们如何与人类在类似的交际任务中的表现进行比较。在本文中，我们提出了一个实验的结果，旨在评估实时语音翻译引擎的质量，通过比较它的专业同声传译的性能。要做到这一点，我们采用了一个框架开发的人类口译员的评估，并使用它来执行人工评估人类和机器的性能。在我们的样本中，我们发现人类口译员在可理解性方面表现更好，而机器在信息量方面表现稍好。研究的局限性和可能的增强所选择的框架进行了讨论。尽管其固有的局限性，这个框架的使用代表了第一步，以用户为中心，面向通信的方法来评估实时自动语音翻译。
2021-06-30 cs.CL
