Physician Detection of Clinical Harm in Machine Translation: Quality Estimation Aids in Reliance and Backtranslation Identifies Critical Errors
University of California, Berkeley（加州大学伯克利分校）；University of Maryland（马里兰大学）；University of California, San Francisco（加州大学旧金山分校）
本文通过模拟急诊医疗决策的人体研究，对比质量估计与回译两种干预对医生使用机器翻译的影响，发现质量估计提升适当依赖，而回译更有助于识别QE常遗漏的临床有害错误。
2023-10-25 cs.CL cs.HC
Quality Estimation Using Round-trip Translation with Sentence Embeddings
Dublin City University（都柏林城市大学）
评估机器翻译系统的质量一直是该领域研究人员面临的挑战。许多以前尝试使用往返翻译作为衡量质量的标准都失败了，对于它是否可以作为一种可行的质量评估方法存在很大分歧。在本文中，我们重新审视往返翻译，提出了一个系统，旨在解决以前的陷阱发现的方法。我们的方法利用语言表示学习的最新进展，更准确地衡量原始和往返翻译句子之间的相似性。实验表明，虽然我们的方法没有达到目前最先进的方法的性能，它可能仍然是一个有效的方法，一些语言对。
2021-10-31 cs.CL cs.LG
Noisy-Labeled NER with Confidence Estimation
Alibaba Group（阿里巴巴集团）；University of Edinburgh（爱丁堡大学）；Zhejiang University（浙江大学）；Guizhou University（贵州大学）
深度学习的最新研究表明，命名实体识别（NER）取得了重大进展。大多数现有的工作假设干净的数据注释，但现实世界场景中的基本挑战是来自各种来源的大量噪声（例如，伪的、弱的或遥远的注释）。这项工作研究NER下的噪声标记设置校准的置信度估计。基于对噪声和干净标签的不同训练动态的经验观察，我们提出了基于局部和全局独立性假设估计置信度得分的策略。我们用CRF模型部分边缘化低置信度的标签。我们进一步提出了一种基于实体标签结构的置信度校准方法。我们将我们的方法整合到一个自我训练框架中，以提高绩效。在四种语言的一般噪声环境和远距离标记环境中的实验证明了我们的方法的有效性。我们的代码可以在https://github.com/liukun95/Noisy-NER-Confidence-Estimation上找到
2021-04-12 cs.CL
Estimating Large Language Model Capabilities without Labeled Test Data
University of Southern California（南加州大学）
本文提出ICL准确率估计任务，利用LLM置信度分数训练元模型，在无需标注测试数据的情况下预测大语言模型上下文学习的准确率，并在多个模型和任务上验证其优于现有基线。
2023-10-26 cs.CL
End-to-End Speech Translation for Low-Resource Languages Using Weakly Labeled Data
Speech Processing Laboratory（语音处理实验室）
针对低资源语言端到端语音翻译数据稀缺问题，利用弱标注数据构建数据集并训练模型，性能媲美大规模多语言基线。
2025-06-19 cs.CL eess.AS
Low-Resource Name Tagging Learned with Weakly Labeled Data
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
低资源语言或域中的名称标记遭受不充分的训练数据。现有的工作严重依赖于额外的信息，而留下那些在网络上广泛存在的嘈杂的注释。在本文中，我们提出了一种新的神经模型的名称标记仅基于弱标记（WL）的数据，使其可以应用于任何低资源设置。为了充分利用所有WL语句，我们将它们分为高质量和噪声部分，分别用于两个模块：（1）分类模块专注于大部分噪声数据，可以通过捕获文本上下文语义来有效和鲁棒地预训练标签分类器;以及（2）集中于高质量数据的昂贵的序列标记模块利用具有非实体采样的部分CRF来实现全局最优。两个模块通过共享参数组合。涉及五种低资源语言和细粒度食物域的广泛实验证明了我们的卓越性能（平均6%和7.8%F1增益）以及效率。
2019-08-26 cs.CL
Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction
Tokyo Metropolitan University（东京都立大学）；RIKEN（理化学研究所）
在语法错误纠正中，自动评价是语法错误纠正系统研究和开发的一个重要因素。以往的自动评测研究表明，在不使用参考语句的情况下，基于人工评测的数据集构建的质量估计模型可以实现高性能的英语GEC自动评测。然而，质量估计模型尚未在日本进行研究，因为没有数据集用于构建质量估计模型。因此，在这项研究中，我们创建了一个质量估计数据集与手动评估，建立一个自动评估模型，为日本GEC。此外，我们进行了元评估，以验证数据集的有用性，在建立日本的质量估计模型。
2022-01-20 cs.CL
Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Leeds（利兹大学）
本文探讨了使用深度学习方法来自动评估人工翻译的质量。自动评估可以为翻译教学、考试和质量控制提供有用的反馈。解决此任务的传统方法依赖于手动设计的特征和外部知识。本文提出了一个端到端的神经模型，没有特征工程，结合交叉注意力机制，以检测句子对中的部分是最相关的质量评估。另一个贡献是预测用于衡量翻译质量不同方面的细粒度分数。在一个大型人类注释数据集上的实验结果表明，神经模型的性能明显优于基于特征的方法。数据集和工具可用。
2020-03-13 cs.CL
The JHU-Microsoft Submission for WMT21 Quality Estimation Shared Task
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）
本文介绍了JHU-Microsoft联合提交的WMT 2021质量评估共享任务。我们只参与共享任务的任务2（编辑后工作量估计），专注于目标端的词级质量估计。我们试验的技术包括Levenshtein Transformer训练和数据增强，结合了MT输出的前向、后向、往返翻译和伪后期编辑。我们证明了我们的系统相比，广泛采用的OpenKiwi-XLM基线的竞争力。我们的系统也是英语-德语语言对MT MCC指标的顶级系统。
2021-09-17 cs.CL
Semi-Supervised Joint Estimation of Word and Document Readability
University of Colorado Boulder（科罗拉多大学博尔德分校）；Octanove Labs（Octanove 实验室）
在文献中，对单词和文档的可读性或难度估计进行了独立的研究，通常假设存在广泛的注释资源。出于我们的分析表明，有一个递归的单词和文档的难度之间的关系，我们建议联合估计单词和文档的难度，通过一个图卷积网络（GCN）在半监督的方式。我们的实验结果表明，基于GCN的方法可以实现比强基线更高的准确性，并且即使使用少量的标记数据也保持鲁棒性。
2021-04-27 cs.CL
Antisemitic Messages? A Guide to High-Quality Annotation and a Labeled Dataset of Tweets
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Technical University Berlin（柏林工业大学）
针对自动仇恨言论检测缺乏标注一致的数据集的问题，本研究提出严格遵循IHRA反犹定义的标注流程，构建了含6941条英文推文的反犹言论标注数据集，助力降低反犹言论自动检测的假阳性率。
2023-04-28 cs.CL cs.CY
Simple-QE: Better Automatic Quality Estimation for Text Simplification
University of Pennsylvania（宾夕法尼亚大学）；CNRS（法国国家科学研究中心）；University of Helsinki（赫尔辛基大学）
文本简化系统生成的文本版本更容易为更广泛的受众所理解。简化文本的质量通常使用与人类参考进行比较的指标来估计，这可能很难获得。我们提出了简单的QE，BERT为基础的质量估计（QE）模型，适应于以前的总结QE工作，并表明它与人类的质量判断。Simple-QE不需要人类参考，这使得该模型在实际环境中非常有用，用户需要了解生成的简化的质量。我们还表明，我们可以采用这种方法来准确预测人类书面文本的复杂性。
2020-12-22 cs.CL
SumQE: a BERT-based Summary Quality Estimation Model
Athens University of Economics and Business（雅典经济与商业大学）；CNRS（法国国家科学研究中心）；University of Helsinki（赫尔辛基大学）
提出了一种基于BERT的摘要质量估计模型SumQE。该模型解决了语言质量方面，只是间接捕获的基于内容的方法进行总结评价，而不涉及与人类参考的比较。SumQE与人类评级的相关性非常高，优于解决这些语言方面的简单模型。SumQE模型的预测可用于系统开发，并告知用户自动生成的摘要和其他类型的生成文本的质量。
2019-09-02 cs.CL
Referenceless Quality Estimation for Natural Language Generation
Heriot-Watt University（赫瑞瓦特大学）
传统的自然语言生成（NLG）自动评估方法使用昂贵的人工创作的参考来估计系统输出的质量。在本文中，我们提出了一个无参考的质量估计（QE）方法的基础上，递归神经网络，预测一个NLG系统输出的质量分数比较它的源意义表示。我们的方法在大多数方面优于传统指标和恒定基线;我们还表明，与基础系统相比，合成数据有助于将相关结果提高21%。我们的研究结果是可比的结果，在类似的QE任务，尽管更具挑战性的设置。
2017-08-05 cs.CL
The Eval4NLP Shared Task on Explainable Quality Estimation: Overview and Results
University of Sheffield（谢菲尔德大学）；Imperial College London（帝国理工学院）；TU Darmstadt（达姆施塔特工业大学）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）
在本文中，我们介绍了Eval 4 NLP-2021共享任务的可解释的质量估计。给定一个源翻译对，这个共享的任务不仅需要提供一个表明翻译整体质量的翻译水平评分，还需要通过识别对翻译质量产生负面影响的单词来解释这个评分。我们提出的数据，注释准则和评价设置的共享任务，描述了六个参与系统，并分析结果。据我们所知，这是关于可解释的NLP评估指标的第一个共享任务。数据集和结果可在https://github.com/eval4nlp/SharedTask2021上获得。
2021-10-08 cs.CL
Neural Quality Estimation with Multiple Hypotheses for Grammatical Error Correction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Beijing Language and Culture University（北京语言大学）；National University of Singapore（新加坡国立大学）
语法错误纠正（GEC）旨在纠正写作错误并帮助语言学习者提高写作技巧。然而，现有的GEC模型往往会产生虚假的校正或无法检测到大量的错误。质量评估模型是必要的，以确保学习者得到准确的GEC结果，并避免误导错误的句子。经过良好训练的GEC模型可以通过解码（如束搜索）生成多个高质量的假设，这些假设提供了有价值的GEC证据，可以用于评估GEC质量。然而，现有的模型忽略了可能的GEC证据，从不同的假设。本文提出了一种用于多假设GEC质量估计的神经验证网络（VERNet）。VERNet通过推理图建立假设之间的交互关系，并通过两种注意力机制传播GEC证据，验证生成假设的质量。我们在四个GEC数据集上的实验表明，VERNet实现了最先进的语法错误检测性能，实现了最佳的质量估计结果，并通过重新排序假设显着提高了GEC性能。所有数据和源代码都可以在www.example.com上找到。
2021-05-10 cs.CL
Fill in the BLANC: Human-free quality estimation of document summaries
Primer Technologies Inc.（Primer科技公司）
我们提出了BLANC，一种新的方法来自动估计的文件摘要质量。我们的目标是用一种客观的、可重复的、完全自动化的方法来衡量摘要的功能性能。我们的方法通过测量预训练的语言模型在对文档文本执行语言理解任务时获得的性能提升来实现这一点。我们目前的证据表明，BLANC评分与人类评价的ROUGE家庭的汇总质量测量有很好的相关性。与ROUGE不同的是，BLANC方法不需要人工编写的参考摘要，允许完全不受人工影响的摘要质量估计。
2020-11-11 cs.CL
System Combination via Quality Estimation for Grammatical Error Correction
National University of Singapore（新加坡国立大学）
提出GRECO质量估计模型及三种系统组合方法，通过选择最佳纠正子集提升GEC性能，在CoNLL-2014和BEA-2019测试集上达到最高F0.5分数。
2023-10-23 cs.CL
Towards a Transformer-Based Reverse Dictionary Model for Quality Estimation of Definitions
本文比较了多种基于Transformer的模型在逆向词典任务中的表现，并探索其在严肃游戏The Dictionary Game中的应用。
2023-11-08 cs.CL
ROC Analysis for Evaluating Translation Quality Estimation Systems
Acta-Transphere；CFB Scientific Translations LLC
本文提出使用接收者操作特征（ROC）分析评估自动翻译质量估计（QE）系统，该方法与现有方法结果一致，并能为商业决策提供可操作的性能洞察。
2026-10-06 cs.CL
Generating Datasets with Pretrained Language Models
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
为了从预训练的语言模型（PLM）中获得高质量的句子嵌入，它们必须使用额外的预训练目标进行增强，或者在大量标记文本对上进行微调。虽然后一种方法通常优于前者，但它需要大量的人力来生成足够大小的合适数据集。在本文中，我们展示了如何利用PLM来获得高质量的句子嵌入，而不需要标记数据，微调或修改预训练目标：我们利用大型和高性能PLM的生成能力从头开始生成标记文本对的整个数据集，然后我们使用这些数据集来微调更小，更有效的模型。我们的完全无监督方法在几个语义文本相似性数据集上的表现优于强基线。
2021-10-04 cs.CL cs.LG
Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges
Department of Biostatistics（生物统计学系）
本文研究了在噪声LLM评判者中如何通过校准而非筛选来提高估计效率，发现校准全组评判者优于基于准确率的筛选，且在多个基准测试中表现更优。
2026-05-10 cs.CL stat.ME
Improving Limited Labeled Dialogue State Tracking with Self-Supervision
Salesforce Research（Salesforce研究院）
现有的对话状态跟踪（DST）模型需要大量的标记数据。然而，收集高质量的标签是昂贵的，特别是当域名数量增加时。在本文中，我们解决了一个实际的DST问题，很少讨论，即，有效地学习有限的标记数据。我们提出并研究了两个自我监督的目标：保持潜在的一致性和建模会话行为。我们鼓励DST模型在给定扰动输入的情况下具有一致的潜在分布，使其对未知场景更具鲁棒性。我们还添加了一个辅助话语生成任务，建模会话行为和对话状态之间的潜在相关性。实验结果表明，当在MultiWOZ数据集上使用1%的标记数据时，我们提出的自监督信号可以将联合目标精度提高8.95%.如果将一些未标记的数据作为半监督学习进行联合训练，我们可以获得额外的1.76%的改进。我们分析和可视化我们提出的自监督信号如何帮助DST任务，并希望刺激未来的数据高效DST研究。
2020-10-26 cs.AI cs.CL
Revisiting Round-Trip Translation for Quality Estimation
Naver Papago
质量评估（QE）是在没有人工翻译参考的情况下自动评估翻译质量的任务。计算输入句子和往返翻译（RTT）之间的BLEU曾经被认为是QE的一个指标，然而，它被发现是一个差的翻译质量预测。最近，各种预先训练的语言模型通过提供语义上有意义的单词和句子嵌入在NLP任务中取得了突破。在本文中，我们采用语义嵌入RTT为基础的QE。与之前提交的WMT 2019质量估计指标任务相比，我们的方法与人类判断的相关性最高。虽然向后翻译模型可以是一个缺点，当使用RTT，我们观察到，语义级的指标，基于RTT的QE是强大的向后翻译系统的选择。此外，所提出的方法在SMT和NMT前向翻译系统中表现出一致的性能，这意味着该方法不会惩罚某种类型的模型。
2020-04-29 cs.CL cs.LG
Adaptive Prompt Learning-based Few-Shot Sentiment Analysis
Harbin Institute of Technology at WeiHai（哈尔滨工业大学（威海））
在自然语言处理领域，通过深度学习的情感分析通过使用大的标记数据集具有优异的性能。同时，在许多情感分析中，标记数据是不足的，并且获取这些数据是费时费力的。提示学习致力于通过提示的帮助下重新制定下游任务来解决数据不足。因此，适当的提示对于模型的性能非常重要。提出一种自适应提示（AP）构造策略，利用seq 2seq-attention结构获取输入序列的语义信息。然后动态地构造自适应提示语，不仅可以提高提示语的质量，而且可以利用已有的公共标注数据构造预训练的提示语，有效地推广到其他领域。在FewCLUE数据集上的实验结果表明，该方法AP能够有效地构造出合适的自适应提示，无论手工提示的质量如何，其性能都优于现有的基线。
2022-05-15 cs.AI cs.CL
Learning from Rules Generalizing Labeled Exemplars
在许多应用中，标记的数据并不容易获得，并且需要通过痛苦的人类监督来收集。我们提出了一个规则范例的方法来收集人类的监督，结合规则的效率与实例标签的质量。监督是耦合的，使得它对人类来说是自然的，对学习来说是协同的。我们提出了一种训练算法，通过潜在的覆盖变量联合去噪规则，并通过覆盖和标签变量的软隐含损失来训练模型。去噪后的规则和训练后的模型联合用于推理。对五个不同任务的实证评估表明：（1）我们的算法比现有的几种从干净和有噪声的监督中学习的方法更准确，（2）耦合规则-样本监督在去噪规则方面是有效的。
2020-05-15 cs.CL cs.LG stat.ML
DeepSubQE: Quality estimation for subtitle translations
Prime Video
由于自然语言的许多方面，如释义、风格、语法等的变化，涉及语言数据的任务的质量估计（QE）是困难的。根据手头的应用程序，可以有具有不同可接受程度的多个答案。在这项工作中，我们着眼于估计视频字幕的翻译质量。我们展示了现有的QE方法是如何不足的，并提出了我们的方法DeepSubQE作为一个系统来估计一对语言的字幕数据的翻译质量。我们依靠各种数据增强策略进行自动标记和合成训练。我们创建了一个混合网络，它学习双语数据的语义和语法特征，并将其与仅LSTM和仅CNN网络进行比较。我们提出的网络远远优于它们。
2020-04-22 cs.CL cs.LG stat.ML
