The Importance of Automatic Syntactic Features in Vietnamese Named Entity Recognition
Alt Inc(Alt 公司)
本文提出了一个国家的最先进的越南语命名实体识别(NER)系统。通过将自动句法特征与词嵌入结合起来作为双向长短期记忆(Bi-LSTM)的输入,我们的系统虽然比一些深度学习架构简单,但对越南语NER的效果要好得多。该方法在越南语言和语音处理(VLSP)社区于2016年底组织的评估活动的测试集上获得了92.05%的总体F1分数。我们的命名实体识别系统优于以前最好的系统,越南NER的大幅度。
2017-08-28 cs.CL
Automatic Classification of Human Translation and Machine Translation: A Study from the Perspective of Lexical Diversity
University of St Andrews(圣安德鲁斯大学);School of Computer Science(计算机科学学院)
通过使用三元模型并微调预训练的BERT模型进行序列分类,我们表明可以以高于偶然水平的准确度对机器翻译和人类翻译进行分类,这表明机器翻译和人类翻译是不同的系统方式。机器翻译的分类准确率远高于人工翻译。我们发现,这可能是解释之间的差异词汇多样性机器翻译和人类翻译。如果机器翻译具有独立于人类翻译的模式,则测量机器翻译与人类翻译的偏差的自动度量可能将差异与质量混为一谈。我们用两种不同类型的自动度量进行的实验显示了与分类任务结果的相关性。因此,我们建议在机器翻译评价中,应更多地关注机器翻译和人工翻译在词汇多样性方面的差异。
2021-05-10 cs.CL
Of Human Criteria and Automatic Metrics: A Benchmark of the Evaluation of Story Generation
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI 实验室);Laboratoire des Signaux et Systèmes (L2S), CentraleSupélec, CNRS, Université Paris-Saclay(巴黎萨克雷大学中央理工-高等电力学院、法国国家科学研究中心信号与系统实验室(L2S));Lab of Mathematics and Informatics (MICS), CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工-高等电力学院数学与信息学实验室(MICS))
故事自动生成技术的研究严重依赖于人工评价和自动评价。然而,在使用哪些人类评估标准方面没有达成共识,也没有分析自动标准与它们的相关性。在本文中,我们建议重新评估ASG评估。我们介绍了一套6正交和全面的人的标准,仔细动机的社会科学文献。我们还介绍了HANNA,这是一个由10个不同的ASG系统生成的1,056个故事的注释数据集。HANNA允许我们定量评估72个自动指标与人类标准的相关性。我们的分析突出了ASG当前指标的弱点,使我们能够制定实用的建议,ASG评估。
2022-09-15 cs.CL
Evaluating Automatic Speech Recognition Systems in Comparison With Human Perception Results Using Distinctive Feature Measures
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
本文介绍了评估自动语音识别(ASR)系统与人类的感知结果相比,使用来自语言的区别性特征的措施的方法。错误模式的方式,地点和发声,以及通过一个独特的特征距离度量检查混淆矩阵。这些评估方法与传统的性能标准,重点放在电话或单词的水平,并打算提供一个更详细的配置文件的ASR系统的性能,以及一种手段,直接比较与人类的感知结果在子音素水平。
2016-12-13 cs.CL
The price of debiasing automatic metrics in natural language evaluation
Stanford University(斯坦福大学)
为了评估发电系统,BLEU等自动指标运行起来没有任何成本,但已被证明与人类判断相关性很差,导致对某些模型改进的系统性偏见。另一方面,平均人类的判断,无偏见的黄金标准,往往过于昂贵。在本文中,我们使用控制变量结合自动度量与人类的评价,以获得一个无偏估计比人类的评价成本更低。然而,在实践中,我们在评估摘要和开放式应答问答系统上仅获得7-13%的成本降低。然后,我们证明我们的估计是最优的:没有无偏估计具有较低的成本。我们的理论进一步强调了两个基本瓶颈-自动度量和显示给人类评估者的提示-这两者都需要改进以获得更大的成本节约。
2018-07-06 cs.CL
Human Judgement as a Compass to Navigate Automatic Metrics for Formality Transfer
University of Groningen(格罗宁根大学)
虽然文本风格迁移近年来发展迅速,但目前还没有一个既定的评估标准,这是使用几个自动度量来执行的,缺乏总是诉诸于人类判断的可能性。我们关注的是正式迁移的任务,以及通常评估的三个方面:风格强度,内容保留和流畅性。为了阐明这些方面是如何通过常见的和新的指标进行评估的,我们运行了一个基于人类的评估,并执行了丰富的相关性分析。然后,我们能够提供一些建议,使用这些指标的正式转让,也着眼于他们的普遍性(或不)相关的任务。
2022-04-15 cs.CL
Towards Human-Free Automatic Quality Evaluation of German Summarization
Technische Universität Berlin(柏林工业大学);Quality and Usability Lab(质量与可用性实验室);Primer Technologies Inc.(普里默技术公司)
从组织和财务的角度来看,使用人类评估大型摘要语料库已经被证明是昂贵的。因此,许多自动评估指标已被开发,以衡量摘要质量的快速和可重复的方式。然而,大多数指标仍然依赖于人类,需要由语言专家生成的黄金标准摘要。由于BLANC不需要黄金摘要,据说可以使用任何潜在的语言模型,我们认为它的应用程序在德国的摘要评估。这项工作演示了如何将BLANC指标调整为英语以外的语言。我们比较BLANC分数与人群和专家评级,以及常用的自动指标的德国摘要数据集。我们的研究结果表明,在德国的BLANC是特别好的评估信息。
2021-05-13 cs.CL
Human and Automatic Evaluation of English-Hindi Machine Translation
在过去的60年里,机器翻译的研究一直在进行,随着这一领域的发展,每天都有许多新的技术被开发出来。因此,我们目睹了许多自动机器翻译器的发展。机器翻译开发项目的经理需要知道在其系统中进行更改后性能的增加/减少。由于这个原因,需要对机器翻译系统进行评估。在这篇文章中,我们将介绍一些机器翻译器的评估。该评估将由人工评估员和一些自动评估指标完成,这些评估指标将在句子、文档和系统级别完成。最后,我们还将讨论评价之间的比较。
2013-07-24 cs.CL
HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics
Nantes University(南特大学);Le Mans University(勒曼大学);Avignon University(阿维尼昂大学)
本文提出HATS数据集,通过人类评估对比不同ASR系统的转录错误,探讨人类偏好与ASR评估指标的关系。
2026-04-30 cs.CL
Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation
Babylon(巴比伦(医疗公司));University of Aberdeen(阿伯丁大学)
近年来,机器学习模型在生成临床咨询笔记方面已经迅速变得更好;然而,关于如何正确评估生成的咨询笔记以了解它们可能对使用它们的临床医生和患者的临床安全产生的影响的工作很少。为了解决这个问题,我们提出了一项广泛的咨询笔记人类评估研究,其中5名临床医生(i)听取57次模拟咨询,(ii)编写自己的笔记,(iii)后编辑许多自动生成的笔记,以及(iv)提取所有错误,包括定量和定性错误。然后,我们进行了相关性研究与18个自动质量指标和人类的判断。我们发现,一个简单的,基于字符的Levenshtein距离度量执行标准杆,如果不是更好地比常见的基于模型的指标,如BertScore。我们所有的发现和注释都是开源的。
2022-04-01 cs.CL
IQA-EVAL: Automatic Evaluation of Human-Model Interactive Question Answering
University of Texas at Dallas(德克萨斯大学达拉斯分校);Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
提出自动评估框架 IQA-EVAL,利用基于 LLM 的评估智能体(LEA)模拟人类行为并自动评估交互,在 IQA 任务上实现与人类评估的高度相关,显著降低评估成本。
2024-11-16 cs.CL
Evaluating the IWSLT2023 Speech Translation Tasks: Human Annotations, Automatic Metrics, and Segmentation
Apple(苹果公司);Charles U.(查尔斯大学);U. Edinburgh(爱丁堡大学);Meta;FBK(布鲁诺·凯斯勒基金会);KIT(卡尔斯鲁厄理工学院);JHU(约翰斯·霍普金斯大学);NAIST(奈良先端科学技术大学院大学);Zoom(祖姆公司)
本文针对语音翻译人工评估研究不足的问题,基于IWSLT 2023共享任务结果提出了一种结合自动重新切分与带上下文直接评估的策略,验证了其稳健性并比较了COMET与chrF等自动指标的表现。
2024-06-06 cs.CL
Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics
The University of Melbourne(墨尔本大学)
自动度量是机器翻译系统开发和评估的基础。判断自动化指标是否以及在多大程度上符合人类评估的黄金标准并不是一个简单的问题。我们发现,目前的方法来判断指标是高度敏感的翻译用于评估,特别是存在的离群值,这往往会导致错误的信心的结论度量的有效性。最后,我们转向成对系统排名,开发了一种在自动度量下针对人类判断的阈值性能改进方法,该方法允许量化I型与II型错误,即,在系统质量方面,可接受的人为差异不显著,而拒绝的人为差异显著。总之,这些研究结果建议改进的协议,在机器翻译的度量评估和系统性能评估。
2020-06-12 cs.CL
Dubbing in Practice: A Large Scale Study of Human Localization With Insights for Automatic Dubbing
MIT Media Lab(麻省理工学院媒体实验室);Amazon(亚马逊);AWS AI Labs(亚马逊云科技人工智能实验室)
本研究基于319.57小时的专业配音语料库开展大规模人类配音行为研究,挑战了现有自动配音研究的常见假设,指出语音自然度、翻译质量及源语音特征保留的重要性,为自动配音系统研发提供新方向。
2022-12-23 cs.CL
HumanRankEval: Automatic Evaluation of LMs as Conversational Assistants
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对对话助手类语言模型人工评估不可扩展、自动评估难衡量对话与指令遵循能力的问题,提出基于对数似然排序并与人类排序求相关的HumanRankEval评估任务,验证其与人类判断相关性好且对指令微调变化敏感。
2024-05-15 cs.CL
Automatic Article Commenting: the Task and Dataset
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Tencent AI Lab(腾讯AI实验室)
在线文章的评论提供了扩展的视图并提高了用户参与度。自动发表评论因此成为在线论坛,智能聊天机器人等有价值的功能。本文提出了自动文章评论的新任务,并介绍了一个大规模的中文数据集,其中包含数百万条真实评论和一个人工注释的子集,该子集表征了评论的不同质量。为了消除评论质量的人为偏见,我们进一步开发了自动化指标,这些指标概括了一系列流行的基于参考的指标,并与人类评价的相关性大大提高。
2018-05-11 cs.CL
Overview of the 2024 ALTA Shared Task: Detect Automatic AI-Generated Sentences for Human-AI Hybrid Articles
Macquarie University(麦考瑞大学);Monash University(莫纳什大学)
本文概述了 2024 ALTA 共享任务,旨在检测人机混合文章中的机器生成文本,并介绍了任务设置、评估标准及参与系统的结果。
2024-12-19 cs.CL
Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics
University of Pennsylvania(宾夕法尼亚大学)
自动摘要评估指标复制人类对摘要质量的判断的可靠性由系统级相关性量化。我们确定了两种方法,系统级的相关性的定义是不一致的,如何使用指标来评估系统在实践中,并提出了修改,以纠正这种脱节。首先,我们使用完整的测试集来计算自动度量的系统分数,而不是人类判断的摘要子集,这是目前的标准做法。我们展示了这个小的变化如何导致更精确的估计系统级的相关性。第二,我们建议只计算相关性的系统,这是分开的自动评分,这是在实践中经常观察到的小差异对。这使我们能够证明,在现实场景中,我们对ROUGE与人类判断相关性的最佳估计接近于0。分析结果表明,当系统分数差异较小时,需要收集更多高质量的人类判断,并改进自动度量。
2022-04-21 cs.CL
CausalScore: An Automatic Reference-Free Metric for Assessing Response Relevance in Open-Domain Dialogue Systems
Monash University(莫纳什大学)
提出无参考自动评估指标CausalScore,通过测量对话历史与响应间的因果强度评估相关性,实验证明其与人类判断的一致性显著优于现有最先进指标,并构建了含人工标注因果关系的数据集CGDIALOG+。
2024-06-25 cs.CL
Are Checklists Really Useful for Automatic Evaluation of Generative Tasks?
Tohoku University(东洋大学);Research and Development Center for Large Language Models, National Institute of Informatics(大型语言模型研究与开发中心,日本信息处理学会);National Institute of Informatics(日本信息处理学会)
本文研究自动生成清单在生成式任务评估中的作用,发现选择性使用清单在成对比较中更有效,并指出人类评估标准存在不一致性,需更清晰地定义客观评估标准。
2025-08-21 cs.CL
Emotion Representation Mapping for Automatic Lexicon Construction (Mostly) Performs on Human Level
Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学)
情绪表示映射(ERM)的目标是将现有的情绪评级从一种表示格式转换为另一种表示格式,例如,将单词或句子的配价-唤醒-支配注释映射到埃克曼的基本情感中,反之亦然。因此,ERM不仅可以被认为是一种替代词情感归纳(WEI)技术的自动情感词典的建设,但也可能有助于减轻问题,来自扩散的情感表示格式,在最近几年。我们提出了一种新的神经网络方法,不仅优于以前的国家的最先进的。同样重要的是,我们提出了一个完善的评估方法,并收集强有力的证据表明,我们的模型产生的结果是(几乎)可靠的人类注释,即使在跨语言设置。基于这些结果,我们为13种类型多样的语言生成了新的情感评级,并声称它们至少具有接近黄金的质量。
2018-06-23 cs.CL
Automatic Reference-Based Evaluation of Pronoun Translation Misses the Point
University of Edinburgh(爱丁堡大学);Uppsala University(乌普萨拉大学)
我们比较了APT和AutoPRF指标的性能对人工注释的数据集,包括人类的判断,PROTEST测试套件的翻译的正确性代词翻译。尽管与人类判断存在一些相关性,但一系列问题限制了自动化指标的性能。相反,我们建议使用半自动度量和测试套件来代替全自动度量。
2018-08-13 cs.CL
Revisiting Automatic Question Summarization Evaluation in the Biomedical Domain
Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
摘要自动评价指标通过提供对摘要质量的即时和公正的评估,促进了自动摘要方法的快速发展。大多数指标都是针对一般领域开发的,特别是新闻和会议记录,或其他语言生成任务。然而,这些指标被应用于评估摘要系统在不同的领域,如生物医学问题摘要。为了更好地了解常用的评估指标是否能够评估自动摘要在生物医学领域,我们进行人类的评价摘要质量从四个不同方面的生物医学问题摘要任务。基于人类的判断,我们确定不同的值得注意的功能,目前的自动度量和摘要系统以及。我们还发布了我们的人类注释的数据集,以帮助在生物医学领域的摘要评估指标的研究。
2023-03-18 cs.CL
Benchmarking Human and Automatic Speech Recognition of Diverse Speech: Initial Results
研究对多样化语音(荷兰儿童、老年人语音及弗拉芒语)中人类与自动语音识别性能进行初步比较,发现谷歌电话识别系统表现优,ASR系统与听众表现相似,特定情况超越听众,还发现相关性能差异,未来研究应增强ASR系统对声学变异性的鲁棒性。
2026-07-22 cs.CL
Achieving Human Parity on Automatic Chinese to English News Translation
Microsoft AI & Research(微软人工智能与研究部)
近年来,机器翻译取得了飞速的发展。如今,数百万人在在线翻译系统和移动应用程序中使用它,以便跨越语言障碍进行交流。自然会产生这样的问题,即这种系统是否可以接近或实现与人类翻译的平等。在本文中,我们首先解决的问题,如何定义和准确衡量翻译中的人类平等。然后,我们描述了微软的机器翻译系统,并在广泛使用的WMT 2017新闻翻译任务中测量其翻译质量。我们发现,我们最新的神经机器翻译系统已经达到了最先进的水平,与专业的人工翻译相比,翻译质量与人类不相上下。我们还发现,它大大超过了众包非专业翻译的质量。
2018-06-29 cs.CL
Judge Like Human Examiners: A Weighted Importance Multi-Point Evaluation Framework for Generative Tasks with Long-form Answers
Pengcheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国);The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学);Qwen team, Alibaba Group(通义实验室,阿里巴巴集团);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
本文提出WIMPE框架,通过加权重要性多点评估方法,解决生成任务中长答案评估的挑战,提升与人类标注的关联性。
2026-04-14 cs.CL
A Corpus for Modeling Word Importance in Spoken Dialogue Transcripts
Rochester Institute of Technology(罗切斯特理工学院)
受一个项目的激励,为聋人或听力困难的人创建一个系统,该系统将使用自动语音识别(ASR)在与听力正常的人的面对面会议期间产生英语口语的实时文本字幕,我们已经用单词重要性注释的覆盖来增强Switchboard会话对话语料库的成绩单,每个单词都有一个数字分数,以表明它对每一轮对话意义的重要性。此外,我们通过训练自动单词重要性标记模型来证明该语料库的实用性;我们的最佳性能模型在有序6类单词重要性分类任务中的F分数为0.60,与人类注释者的一致性(一致性相关系数)为0.839(注释者之间的一致性分数为0.89)。最后,我们讨论了我们打算未来的应用程序,这个资源,特别是评估ASR性能的任务,即创建指标,预测ASR输出字幕文本的可用性DHH用户优于Word出错率(WER)。
2019-07-16 cs.CL
Automatic Correction of Human Translations
University of California, Berkeley(加州大学伯克利分校);Lilt(Lilt公司)
我们介绍了翻译纠错(TEC),自动纠正人类生成的翻译的任务。机器翻译(MT)中的不完美性长期以来一直激励着系统利用自动后期编辑来改进翻译。相比之下,很少有人关注自动纠正人类翻译的问题,尽管直觉认为人类会犯一些明显的错误,而机器很适合帮助解决这些错误,从错别字到翻译惯例的不一致。为了研究这一点,我们构建并发布了三个TEC数据集的Aced语料库。我们发现,TEC中的人为错误表现出更多样化的错误范围和更少的翻译流畅性错误比自动后期编辑数据集中的MT错误,这表明需要专门的TEC模型,专门纠正人为错误。我们发现,基于人为错误的合成错误的预训练将TEC F分数提高了5.1分。我们对9名专业翻译编辑进行了一项人机交互用户研究,发现在TEC系统的帮助下,他们的翻译质量显著提高。
2022-06-17 cs.CL cs.LG
Do Language Models Enjoy Their Own Stories? Prompting Large Language Models for Automatic Story Evaluation
Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);INRIA Paris(法国国家信息与自动化研究所巴黎分部)
本文研究大型语言模型能否替代人类进行自动故事评估,发现LLM在系统级评估上优于现有自动度量,但解释能力不足。
2024-05-22 cs.CL
Simple-QE: Better Automatic Quality Estimation for Text Simplification
University of Pennsylvania(宾夕法尼亚大学);CNRS(法国国家科学研究中心);University of Helsinki(赫尔辛基大学)
文本简化系统生成的文本版本更容易为更广泛的受众所理解。简化文本的质量通常使用与人类参考进行比较的指标来估计,这可能很难获得。我们提出了简单的QE,BERT为基础的质量估计(QE)模型,适应于以前的总结QE工作,并表明它与人类的质量判断。Simple-QE不需要人类参考,这使得该模型在实际环境中非常有用,用户需要了解生成的简化的质量。我们还表明,我们可以采用这种方法来准确预测人类书面文本的复杂性。
2020-12-22 cs.CL
Improving Human-Labeled Data through Dynamic Automatic Conflict Resolution
Apple(苹果公司)
本文开发并实现了一种可扩展的方法,用于(a)估计由典型的众包语义标注任务产生的标签的噪声,以及(b)与其他常见的标签策略相比,将标签过程的错误减少多达20-30%。重要的是,这种新的标记过程方法,我们称之为动态自动冲突解决(DACR),不需要地面实况数据集,而是基于项目间注释不一致。这使得DACR不仅更准确,而且可用于广泛的标签任务。在下面的内容中,我们展示了商业个人助理大规模执行的文本分类任务的结果,并评估了与其他常见的标记策略相比,这种注释策略所揭示的固有模糊性。
2020-12-08 cs.CL
Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study
本研究比较了人类听者和三种商用ASR系统对严重构音障碍说话者荷兰语连续语音的识别性能,发现微调后的个性化DSR模型优于人类,但词错误率仍高。
2026-11-16 cs.CL
Towards Better Understanding of Spontaneous Conversations: Overcoming Automatic Speech Recognition Errors With Intent Recognition
Avaya(亚美亚公司);Poznań University of Technology(波兹南理工大学)
在本文中,我们提出了一种方法,用于纠正自动语音识别(ASR)的错误,使用有限状态转换器(FST)的意图识别框架。意图识别是一种功能强大的技术,用于面向回合的人机对话中的对话流管理。这种技术在人与人之间的对话中也非常有用,尽管它的目的是从对话中提取关键洞察力。我们认为,目前可用的意图识别技术不适用于人与人的对话,由于复杂的结构的话轮和各种不流利的自发对话中遇到的,加剧了语音识别错误和缺乏特定领域的标记数据。如果没有有效的关键洞察力提取技术,原始的人与人之间的对话记录仍然没有得到充分利用。我们的贡献包括一个新的FST的意图索引和算法的模糊意图搜索格-一个紧凑的图编码的ASR的假设。我们还开发了一个修剪策略来约束FST索引搜索的模糊性。提取的意图表示语言领域知识,并帮助我们改进(重新评分)原始成绩单。我们将我们的方法与仅使用最可能的转录假设(最佳路径)的基线进行比较,发现识别意图的总数增加了25%。
2019-08-21 cs.CL
Automatically Evaluating Opinion Prevalence in Opinion Summarization
NEC Laboratories America(NEC美国实验室)
针对产品评论摘要中观点代表性不足的问题,提出自动评估观点普遍性的指标,并证明现有方法不如人类,而简化预处理可提升至人类水平。
2023-07-26 cs.CL
Automatic Analysis of Collaboration Through Human Conversational Data Resources: A Review
本文综述了利用任务导向对话资源分析协作过程,涵盖相关理论、编码方案、任务和建模方法,探讨如何利用人类对话数据进行协作分析。
2026-03-30 cs.AI cs.CL
Towards the evaluation of automatic simultaneous speech translation from a communicative perspective
Mainz University(美因茨大学);KUDO
近年来,由于人工智能的进步,特别是在语音识别和机器翻译领域的进步,自动语音到语音和语音到文本翻译已经获得了动力。这类应用程序的质量通常使用自动度量标准(如BLEU)进行测试,主要目的是评估版本的改进或评估活动。然而,很少有人知道这样的系统的输出是如何被最终用户感知的,或者它们如何与人类在类似的交际任务中的表现进行比较。在本文中,我们提出了一个实验的结果,旨在评估实时语音翻译引擎的质量,通过比较它的专业同声传译的性能。要做到这一点,我们采用了一个框架开发的人类口译员的评估,并使用它来执行人工评估人类和机器的性能。在我们的样本中,我们发现人类口译员在可理解性方面表现更好,而机器在信息量方面表现稍好。研究的局限性和可能的增强所选择的框架进行了讨论。尽管其固有的局限性,这个框架的使用代表了第一步,以用户为中心,面向通信的方法来评估实时自动语音翻译。
2021-06-30 cs.CL
Do Text Simplification Systems Preserve Meaning? A Human Evaluation via Reading Comprehension
Instituto de Telecomunicações(电信研究院);University of Maryland(马里兰大学)
本文提出基于阅读理解问题的人工评估框架,考察文本简化系统是否保留原文意义,并评估九个自动系统及现有指标、问答系统与人类判断的一致性。
2024-02-28 cs.CL
To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation
Microsoft(微软)
自动度量通常被用作宣布一个机器翻译系统的质量优于另一个系统的唯一工具。自动度量的社区选择通过决定哪些模型被认为是更好的来指导研究方向和工业发展。评估指标与人类判断集的相关性受到这些集的大小的限制。在本文中,我们证实了如何可靠的指标,在对比人类的判断-尽我们所知-最大的收集文献中报道的判断。可以说,两个系统的成对排名是研究或部署场景中最常见的评估任务。以人类判断为金标准,我们调查哪些指标在预测此类系统对的翻译质量排名方面具有最高的准确性。此外,我们评估了不同语言对和领域的各种指标的性能。最后,我们表明,单独使用BLEU阻碍了改进模型的开发,导致错误的部署决策。我们发布了4380个系统的230万个高级人类判断的集合,以进一步分析和复制我们的工作。
2021-09-13 cs.CL
Automatic Discrimination of Human and Neural Machine Translation in Multilingual Scenarios
Bernoulli Institute(伯努利研究所);University of Groningen(格罗宁根大学);CLCG(语言与认知中心)
本文研究多语言场景下人类与机器翻译的自动判别,证明源文本融入多语言分类器可提升准确率与跨系统鲁棒性,多源语言训练数据和更长文本序列训练均能进一步改善分类性能。
2023-05-31 cs.CL
Does Whisper understand Swiss German? An automatic, qualitative, and human evaluation
Linguistics Center Zurich(苏黎世语言学中心);German Department(德语系);University of Zurich(苏黎世大学);Department of Computational Linguistics(计算语言学系);Phonetics & Speech Sciences(语音与言语科学系)
本文通过自动指标、定性分析和28人人工调查,在四个测试集上评估 Whisper 对瑞士德语的转写表现,证明其可作为输出标准德语的可行 ASR 系统。
2024-05-09 cs.CL
Comparing Human and Machine Errors in Conversational Speech Transcription
Microsoft AI and Research(微软人工智能与研究部);Microsoft AI(微软人工智能);Research, Redmond, WA, USA(研究部,美国华盛顿州雷德蒙德)
最近在自动识别会话电话语音(CTS)的工作已经达到了与人类转录器相当的准确性水平,尽管使用NIST 2000 CTS评估集,如何精确量化人类在这项任务上的表现还存在一些争议。这就提出了一个问题,什么系统的差异,如果有的话,可能会发现区分人类和机器的转录错误。在本文中,我们通过比较我们最准确的CTS识别系统的输出到一个标准的语音转录供应商管道来解决这个问题。我们发现,最常见的替代,删除和插入错误类型的两个输出显示出高度的重叠。唯一值得注意的例外是,自动识别器往往会混淆填充停顿(“uh”)和反向通道停顿(“uhhuh”)。人类往往不会犯这种错误,大概是因为这些词所具有的独特而对立的语用功能。此外,我们量化了人和机器之间的相关性的错误在说话人的水平,并调查的影响,说话人之间的重叠训练和测试数据。最后,我们报告了一个非正式的“图灵测试”,要求人类区分自动和人类转录错误的情况。
2017-08-29 cs.CL
Relative Importance in Sentence Processing
University of Copenhagen(哥本哈根大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
确定句子中元素的相对重要性是轻松理解自然语言的关键因素。对于人类语言处理,我们可以通过使用眼动追踪技术测量阅读注视来近似相对重要的模式。在神经语言模型中,基于梯度的显着性方法指示标记对于目标对象的相对重要性。在这项工作中,我们比较了人类和模型在英语语言处理中的相对重要性模式,并分析了潜在的语言模式。我们发现,人类在英语中的处理模式与语言模型中基于显著性的重要性密切相关,而与基于注意力的重要性无关。我们的结果表明,显着性可能是解释神经语言模型的认知上更合理的指标。代码可以在GitHub上找到:https://github.com/beinborn/relative_importance
2021-06-07 cs.AI cs.CL
Convergences and Divergences between Automatic Assessment and Human Evaluation: Insights from Comparing ChatGPT-Generated Translation and Neural Machine Translation
School of Foreign Languages, Shanghai Jiao Tong University(上海交通大学外国语学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Institute of Corpus Studies and Applications, Shanghai International Studies University(上海外国语大学语料库研究与应用研究所)
本研究比较了ChatGPT与NMT系统的翻译质量,发现自动评估与人工评估在形式保真度上一致,但在语义和语用保真度上存在分歧,突显了人工判断的不可或缺性。
2024-10-12 cs.AI cs.CL
The Importance of Human-Labeled Data in the Era of LLMs
ByteDance Research(字节跳动研究院);UC Santa Cruz(加州大学圣克鲁兹分校)
本文探讨了在LLM时代人类标注数据的重要性,指出尽管LLMs的自动化能力使人们质疑人工标注的必要性,但人工标注数据仍具有持续相关性,并提出了支持这一观点的论据。
2023-06-18 cs.AI cs.CL cs.CY
The Limits of Automatic Evaluation of Creativity in Large Language Models
本研究发现,当前自动评估方法及LLM作为评判者的评估方式,与人类对LLM生成文本创造力的判断存在显著不一致,无法有效捕捉创造力的关键维度。
2026-08-28 cs.AI cs.CL cs.CY
Towards Automatic building of Human-Machine Conversational System to support Maintenance Processes
University of Pisa(比萨大学)
随着工业4.0范式的引入,企业正在应对许多认知变化。在这个不断变化的环境中,知识管理是一个关键因素。对话系统能够与人进行对话,可以支持商业环境中的知识管理。虽然,这些系统目前是手工编码的,需要人类的干预来编写所有可能的问题和答案,然后规划交互。这一过程除了耗时之外,还不可扩展。相反,对话系统,也称为聊天机器人,可以通过简单地从技术文档中提取规则从头开始构建。因此,本研究的目标是设计一种方法,用于自动构建人机对话系统,能够在工业环境中进行交互。初始分类法包含维护手册中的实体,用于识别BOBST SA公司提供的手册中的相关语句,并应用文本挖掘技术,自动扩展。最终的结果是一个表示实体及其关系的分类网络,该网络将用于未来管理维护聊天机器人交互的工作。
2020-05-13 cs.CL cs.HC
Unveiling Scoring Processes: Dissecting the Differences between LLMs and Human Graders in Automatic Scoring
University of Georgia(佐治亚大学);Nanyang Technological University(南洋理工大学)
该研究揭示了大语言模型在科学任务书面作答自动评分中使用的评分标准与人类评分的一致性差距,发现加入反映人类评分逻辑的高质量分析型评分标准可缩小差距、提升评分准确率。
2025-02-21 cs.CL cs.CY
Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses
McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
自动评估非结构化领域的对话响应的质量是一个具有挑战性的问题。不幸的是,现有的自动评估指标是有偏见的,相关性非常差,与人类的反应质量的判断。然而,拥有一个准确的自动评估程序对对话研究至关重要,因为它允许快速原型设计和测试新模型,减少昂贵的人工评估。为了应对这一挑战,我们制定了自动对话评估作为一个学习问题。我们提出了一个评估模型(ADEM),学习预测人类的分数输入响应,使用一个新的数据集的人的反应分数。我们发现,ADEM模型的预测相关性显着,并在一个比词的重叠指标,如BLEU,与人类的判断,在话语和系统级的水平高得多。我们还表明,ADEM可以推广到评估在训练过程中看不见的对话模型,自动对话评估的重要一步。
2018-01-16 cs.AI cs.CL cs.LG
Learning Non-Monotonic Automatic Post-Editing of Translations from Human Orderings
Unbabel;New York University(纽约大学);Facebook AI(Facebook 人工智能);Instituto de Telecomunicações(电信研究所)
神经机器翻译的最新研究探索了灵活的生成顺序,作为从左到右生成的替代方案。然而,训练非单调模型带来了一个新的复杂性:当排序的组合爆炸达到相同的最终结果时,如何搜索一个好的排序?此外,这些自动排序与人工翻译的实际行为相比如何?目前的模型依赖于手动构建的偏差,或者让它们自己探索所有的可能性。在本文中,我们分析了人类后编辑产生的命令,并使用它们来训练自动后编辑系统。我们将得到的系统与从左到右和随机编辑后排序训练的系统进行了比较。我们观察到,人类倾向于遵循从左到右的顺序,但也有一些有趣的偏差,比如更喜欢从纠正标点符号或动词开始。
2021-12-15 cs.AI cs.CL cs.LG
Automatic generation of a large dictionary with concreteness/abstractness ratings based on a small human dictionary
Innopolis University(Innopolis 大学);Kazan Federal University(喀山联邦大学)
越来越多的心理学和神经生理学研究中使用具体/抽象词语。对于一些语言,大型词典是手动创建的。这是一个非常耗时和昂贵的过程。为了自动生成大量高质量的具体/抽象词词典,需要对较小样本上获得的专家评估进行外推。由此产生的研究问题是,这样的样本应该有多小才能做足够好的外推。本文提出了一种对词语具体性进行自动排序的方法,并提出了一种显著减少专家评估量的方法。该方法已在一个大型的英语测试集上进行了评估。所构建的词典的质量与专家词典的质量相当。与最先进的方法相比,预测和专家评级之间的相关性更高。
2022-06-13 cs.CL cs.HC
Human and Automatic Interpretation of Romanian Noun Compounds
Princeton University(普林斯顿大学)
针对罗马尼亚语名词复合词,本文构建一套新的语义关系集,并用人工标注与神经网络分类器验证,发现模型预测与人工判断相符,但高频“无关系”暴露出现有关系清单不足。
2024-03-11 cs.AI cs.CL
Improving Statistical Significance in Human Evaluation of Automatic Metrics via Soft Pairwise Accuracy
Amazon(亚马逊公司);Oracle(甲骨文公司);Google(谷歌公司);Microsoft(微软公司)
本研究针对自动指标人工评估中传统成对准确率(PA)稳定性差、区分度不足的问题,提出融合人类判断与指标得分统计显著性的软成对准确率(SPA)元指标,其稳定性与区分度更优,已成为2024年WMT指标共享任务官方系统级指标。
2024-10-04 cs.AI cs.CL
AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators
Stanford University(斯坦福大学);American Express(美国运通)
AutoMetrics通过自动生成评估器,在低数据条件下提升与人类评分的相关性,提高Kendall相关性达33.4%,并提供可解释的自动指标工具。
2025-12-19 cs.AI cs.CL
Human and Automatic Speech Recognition Performance on German Oral History Interviews
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所);Haus der Geschichte der Bundesrepublik Deutschland Foundation (HdG)(德意志联邦共和国历史之家基金会);Autonomous Intelligent Systems (AIS), Computer Science Institute VI, Univ. of Bonn(波恩大学计算机科学第六研究所自主智能系统)
近年来,自动语音识别系统在转录准确性方面取得了显著的改进。在某些领域,模型现在达到了接近人类的性能。然而,口述历史的转录性能尚未达到人类的准确性。在目前的工作中,我们调查人类和机器转录之间的差距仍然有多大。为此目的,我们分析和比较三个人的一个新的口述历史数据集的transparency。我们估计,最近的德国口述历史访谈与干净的声学条件下的人字错误率为8.7%。为了与最近的机器转录精度比较,我们提出了一个声学模型的适应实验,实现接近人类的性能广播语音。我们研究了不同的适应数据的鲁棒性和泛化的影响,干净和嘈杂的口述历史采访。我们优化了我们的声学模型的5至8%,相对于这项任务,并实现23.9%的WER噪声和15.6%的词错误率干净的口述历史采访。
2022-01-18 cs.CL cs.SD eess.AS