Microsoft's Submission to the WMT2018 News Translation Task: How I Learned to Stop Worrying and Love the Data
Microsoft（微软）
本文介绍了微软提交给WMT 2018的新闻翻译共享任务。我们参加了一个语言方向-英语-德语。我们的系统遵循当前的最佳实践，并将最先进的模型与新的数据过滤（双条件交叉熵过滤）和句子加权方法相结合。我们使用Edinburgh针对WMT 2017的训练方案的更新版本训练了相当标准的Transformer-big模型，并尝试了Paracrawl的不同过滤方案。根据自动指标（BLEU），我们在这个子任务中获得了最高分，比下一个最强的系统高出近2个BLEU点。基于人的评价，我们在约束系统中排名第一。我们认为这主要是由我们的数据过滤/加权制度造成的。
2018-09-01 cs.CL
Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Science and Technology of China（中国科学技术大学）；University of Macau（澳门大学）；National University of Singapore（新加坡国立大学）
在本文中，我们提出了我们的提交的翻译级MQM基准在质量评估共享任务，名为统一翻译评估（UniTE）。具体来说，我们的系统采用了UniTE的框架，该框架在训练过程中将三种类型的输入格式与预先训练的语言模型相结合。首先，我们将伪标记数据示例应用于连续预训练阶段。值得注意的是，为了减少预训练和微调之间的差距，我们使用了数据修剪和基于排名的分数归一化策略。在微调阶段，我们使用了过去几年WMT比赛的直接评估（DA）和多维质量评估（MQM）数据。最后，我们收集了仅源的评估结果，并集成了两个UniTE模型生成的预测，其主干分别是XLM-R和InfoXLM。结果表明，我们的模型在多语言和英俄设置中达到了第一的总排名，在英德和中英设置中达到了第二的总排名，在今年的质量评估比赛中表现出了相对较强的表现。
2023-02-17 cs.CL
Universal Dependency Parsing from Scratch
Stanford University（斯坦福大学）
本文描述了斯坦福大学在CoNLL 2018 UD共享任务上的系统。我们介绍了一个完整的神经管道系统，以原始文本作为输入，并执行共享任务所需的所有任务，从标记和句子分割，到POS标记和依存句法分析。我们提交的单个系统在大型树库上实现了非常有竞争力的性能。此外，在修复了一个不幸的错误后，我们更正后的系统将在官方评估指标LAS，MLAS和BLEX上排名第二，第一和第三，并且在所有指标的低资源树库类别上都将大大优于所有提交系统。我们通过广泛的消融研究进一步证明了不同模型组件的有效性。
2019-01-29 cs.CL
Findings of the WMT 2022 Shared Task on Translation Suggestion
Tencent Inc（腾讯公司）；Pattern Recognition Center, WeChat AI（微信AI模式识别中心）
我们报告的结果第一版的WMT共享任务翻译建议（TS）。该任务的目的是提供替代的特定单词或短语给定的整个文件生成的机器翻译（MT）。它包括两个子任务，即朴素翻译建议和带提示的翻译建议。主要区别在于子任务二中提供了一些提示，因此，模型更容易生成更准确的建议。对于子任务一，我们提供了英语-德语和英语-汉语两种语言对的语料库。子任务二只提供英汉语料。我们在子任务一和子任务二分别收到了来自5个参赛团队的92份意见书和6份意见书，其中大部分涵盖了所有的翻译方向。我们使用自动度量BLEU来评估每个提交的性能。
2022-11-30 cs.CL
Sentence-level quality estimation by predicting HTER as a multi-component metric
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心 (DFKI)）
本次提交调查替代机器学习模型预测HTER分数的句子水平。而不是直接预测HTER分数，我们建议一个模型，联合预测的4个不同的编辑后操作，然后用于计算HTER分数的量。这也提供了在计算HTER分数之前校正无效（例如负）预测值的可能性。在没有任何特征探索的情况下，具有4个输出的多层感知器在基线上产生了小但显着的改进。
2017-07-19 cs.CL
CREATIVESUMM: Shared Task on Automatic Summarization for Creative Writing
Salesforce Research（赛富时研究院）；Columbia University（哥伦比亚大学）；Yale University（耶鲁大学）；Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）
本文介绍了几个创作领域，即文学文本，电影剧本和电视剧本的共同任务，总结文件。总结这些创造性的文件需要作出复杂的文学解释，以及理解非平凡的时间依赖性的文本包含不同风格的情节发展和叙事结构。这对文本摘要系统提出了独特的挑战，并且尚未得到充分的探索。在这个共享任务中，我们介绍了四个子任务及其相应的数据集，重点是总结书籍，电影剧本，黄金时段的电视剧本和白天的肥皂剧剧本。我们详细介绍了为任务策划这些数据集的过程，以及用于评估提交的指标。作为COLING 2022的CREATIVESUMM研讨会的一部分，共享任务共吸引了18份提交。我们在本文中讨论了每个子任务的提交和基线，以及促进该领域未来工作的方向。
2022-12-06 cs.CL
CUNI systems for WMT21: Terminology translation Shared Task
Charles University（查尔斯大学）
本文介绍了查尔斯大学提交的术语翻译共享任务在WMT21。这项任务的目的是设计一个系统，翻译某些术语的基础上提供的术语数据库，同时保持高的整体翻译质量。我们参加了英法双语比赛。我们的方法是基于提供所需的翻译以及输入句子，并训练模型使用这些提供的术语。我们在训练和推理过程中对术语进行词形化，以使模型能够学习如何在单词与术语数据库中提供的形式不同时生成正确的单词表面形式。我们的提交在精确匹配指标中排名第二，该指标评估了模型在翻译中产生所需术语的能力。
2021-09-20 cs.CL
Pretraining Approaches for Spoken Language Recognition: TalTech Submission to the OLR 2021 Challenge
TalTech（塔林理工大学）
本文研究了口语识别的不同预训练方法。这篇论文是基于我们提交给2021年东方语言识别挑战赛的论文。我们参加了两个轨道的挑战：约束和无约束的语言识别。对于受约束的音轨，我们首先使用提供的具有可用转录的训练数据训练了一个用于多语言自动语音识别（ASR）的基于Conformer的编码器-解码器模型。然后对多语言ASR模型的共享编码器进行微调，以用于语言识别任务。对于不受约束的任务，我们依赖于外部可用的预训练模型和外部数据：多语言XLSR-53 wav2vec2.0模型在VoxLingua 107语料库上进行微调，用于语言识别任务，最后在提供的目标语言训练数据上进行微调，并使用CommonVoice数据进行增强。我们在测试集上的主要度量$C_{\rm avg}$值对于受约束的任务是0.0079，对于无约束的任务是0.0119，这导致了两个排名中的第二名。在后评估实验中，我们研究了训练准确的后端模型所需的目标语言数据量，多语言预训练数据的重要性，并将不同的模型作为微调的起点进行比较。
2022-05-14 cs.CL eess.AS
Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task
Microsoft Corporation（微软公司）
本报告介绍了微软的机器翻译系统，用于WMT 21大规模多语言机器翻译共享任务。我们参加了所有三个评估轨道，包括大轨道和两个小轨道，其中前一个是不受约束的，后两个是完全受约束的。我们向共享任务提交的模型使用DeltaLM \footnote{\url{https://aka.ms/deltalm}}初始化，这是一种通用的预训练多语言编码器-解码器模型，并根据跟踪设置使用大量收集的并行数据和允许的数据源进行相应的微调，同时应用渐进学习和迭代反向翻译方法来进一步提高性能。我们最终提交的作品在自动评估指标方面在三个轨道上排名第一。
2021-11-03 cs.CL
Automatic Error Type Annotation for Arabic
Computational Approaches to Modeling Language (CAMeL) Lab（计算语言建模实验室）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们提出了ARETA，现代标准阿拉伯语的自动错误类型注释系统。我们设计的ARETA，以解决阿拉伯语的形态丰富性和正字法的歧义。我们基于我们的错误分类的阿拉伯语学习者语料库（ALC）的错误标记集进行了一些修改。ARETA在ALC的手动注释盲测部分中实现了85.8%的性能（微平均F1得分）。我们还展示了ARETA的可用性，通过将其应用于QALB 2014年阿拉伯语语法错误纠正共享任务的一些提交。由此产生的分析提供了关于不同提交的优点和缺点的有用见解，这比共享任务中使用的不透明的M2评分指标更有用。ARETA使用了一个大型的阿拉伯语形态分析器，但在其他方面完全没有监督。我们让ARETA公开可用。
2021-09-16 cs.CL
Unbabel's Participation in the WMT20 Metrics Shared Task
Unbabel AI（Unbabel人工智能）
我们介绍了Unbabel团队对WMT 2020共享任务的贡献。我们打算参与所有语言对的段级、文档级和系统级轨道，以及“QE as a Metric”轨道。因此，我们参考去年的测试集来说明我们的模型在这些轨道上的结果。我们的意见书建立在最近提出的COMET框架：我们训练几个估计模型回归不同的人类产生的质量分数和一个新的排名模型训练的相对排名从直接评估。我们还提出了一种简单的技术，用于将段级预测转换为文档级分数。总的来说，我们的系统在以前的测试集上对所有语言对都取得了很好的结果，并且在许多情况下创造了一个新的最先进的水平。
2020-10-29 cs.CL
DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA
Georgia Institute of Technology（佐治亚理工学院）
研究在科学问答中传统评估指标与引用完整性的差异，通过Corrective RAG和CiteFix构建纠正管道，对比前沿模型，发现前沿模型答案生成不依赖文档上下文，而纠正管道提升了引用忠实度和答案基础，提出需奖励严格答案基础的评估指标。
2026-07-17 cs.CL cs.IR
Datasheets Aren't Enough: DataRubrics for Automated Quality Metrics and Accountability
Capital One（第一资本）；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Toronto（多伦多大学）；ITB（万隆理工学院）；Brown University（布朗大学）；Columbia University（哥伦比亚大学）；Oracle（甲骨文公司）；Ontario Tech University（安大略理工大学）；Monash University（莫纳什大学）
本文提出 DataRubrics 框架，将基于评分标准的自动化评估指标引入数据集评审，并结合合成数据生成与 LLM-as-a-judge 方法，以提升数据集质量评估的可复现性、可扩展性与问责制。
2025-06-03 cs.AI cs.CL cs.CV
Findings of the WMT 2024 Shared Task on Chat Translation
University of Amsterdam（阿姆斯特丹大学）；Instituto de Telecomunicações（电信研究所）；Unbabel（Unbabel公司）
本文介绍了第三届 WMT 2024 聊天翻译共享任务，通过人工评估和自动指标对多语言对的双语客户支持对话翻译系统进行评估，发现系统在单轮翻译上表现优异，但对话级翻译质量仍需改进。
2024-10-15 cs.CL
Yseop at FinSim-3 Shared Task 2021: Specializing Financial Domain Learning with Phrase Representations
Yseop
在本文中，我们提出了我们的方法FinSim-3共享任务2021：学习金融领域的语义相似性。这个共享任务的目的是将来自金融领域的给定术语列表正确分类为外部本体中最相关的上位词（或顶级）概念。对于我们的系统提交，我们评估了两种方法：在自定义语料库上预训练的句子-RoBERTa（SRoBERTa）嵌入模型，以及基于第一种方法的双单词-句子嵌入模型，该模型通过使用FastText模型改进所提出的基线词嵌入构造来提高分类性能。我们的系统在这两个指标上都排名第二，平均准确率为0.917，平均排名为1.141。
2021-08-21 cs.CL
Overview and Insights from the SciVer Shared Task on Scientific Claim Verification
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们概述了在NAACL 2021的第二届学术文档处理（SDP）研讨会上提出的SciVer共享任务。在这个共同的任务中，系统被提供了一个科学声明和一个研究摘要语料库，并被要求识别哪些文章支持或拒绝声明，以及提供证明这些标签的证据句子。11支团队共向共享任务排行榜提交了14份报告，导致主要任务评估指标提高了超过+23 F1。除了调查参与的系统，我们还提供了一些关于建模方法的见解，以支持科学声明验证这一重要而具有挑战性的任务的持续进展和未来研究。
2021-07-17 cs.CL
The YiTrans End-to-End Speech Translation System for IWSLT 2022 Offline Shared Task
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文介绍了我们的端到端YiTrans语音翻译系统的提交，该系统用于IWIT 2022离线任务，将英语音频翻译为德语，中文和日语。YiTrans系统建立在大规模预训练的编码器-解码器模型上。更具体地说，我们首先设计了一个多阶段的预训练策略来构建一个包含大量标记和未标记数据的多模态模型。然后，我们针对下游语音翻译任务微调模型的相应组件。实验结果表明，YiTrans系统在三个翻译方向上都比强基线有了显著的提高，在tst 2021英-德上比去年的最优端到端系统BLEU提高了+5.2。我们最终提交的产品在自动评估指标方面在英德和英汉端到端系统中排名第一。我们公开我们的代码和模型。
2022-06-14 cs.CL eess.AS
SINAI at eRisk@CLEF 2023: Approaching Early Detection of Gambling with Natural Language Processing
Computer Science Department, SINAI, CEATIC, Universidad de Jaén, 23071, Spain（计算机科学系、SINAI、CEATIC、Jaén大学）；Bocconi University, Via Sarfatti 25, 20100, Milan, Italy（博科尼大学）
本文提出结合 Transformers 预训练模型、数据平衡与 LSTM 的方法，在 eRisk@CLEF 2023 任务 2 中实现病态赌博早期检测，取得最高召回率和早期检测相关指标。
2025-09-18 cs.CL
SemEval-2022 Task 2: Multilingual Idiomaticity Detection and Sentence Embedding
University of Sheffield（谢菲尔德大学）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）
本文提出了多语言习语检测和句子嵌入的共享任务，它包括两个子任务：（a）二进制分类任务，旨在识别句子是否包含习语表达;（b）基于语义文本相似度的任务，要求模型在上下文中充分表示潜在的习语表达。每个子任务包括关于训练数据量的不同设置。除了任务描述外，本文还介绍了英语，葡萄牙语和加利西亚语的数据集及其注释过程，评估指标，以及参与者系统及其结果的总结。该任务有近100名注册参与者组成25个团队，在实践和评估阶段分别提交了650多份和150多份意见书。
2022-05-30 cs.CL
WangLab at MEDIQA-Chat 2023: Clinical Note Generation from Doctor-Patient Conversations using Large Language Models
University of Toronto（多伦多大学）；Terrence Donnelly Centre for Cellular and Biomolecular Research（特伦斯·唐纳利细胞与生物分子研究中心）；Vector Institute for AI（向量人工智能研究院）；University Health Network（大学健康网络）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）
面向 MEDIQA-Chat 2023 临床笔记生成任务，论文比较 PLM 微调与基于 GPT-4 的少样本 ICL，后者排名第一且生成质量接近人工笔记。
2023-06-03 cs.AI cs.CL cs.LG
ViBidirectionMT-Eval: Machine Translation for Vietnamese-Chinese and Vietnamese-Lao language pair
University of Engineering and Technology, Vietnam National University（越南国家大学工程技术大学）
本文介绍VLSP 2022-2023共享任务的越中、越老双向机器翻译评测工作，采用自动指标与专家人工评判结合的方式，在1000个多领域测试句对上评估参赛系统，保障了评测的全面性。
2025-01-15 cs.AI cs.CL
