Alibaba-Translate China's Submission for WMT 2022 Metrics Shared Task
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Macau（澳门大学）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
在本报告中，我们提交了我们对WMT 2022年可持续发展共同任务的提交。我们基于UNITE（统一翻译评估）的核心思想构建我们的系统，该思想将仅源代码，仅参考以及源代码-参考组合评估场景统一到一个模型中。具体来说，在模型预训练阶段，我们首先应用伪标记数据示例来连续预训练UNITE。值得注意的是，为了减少预训练和微调之间的差距，我们使用了数据裁剪和基于排名的分数归一化策略。在微调阶段，我们使用过去几年WMT比赛的直接评估（DA）和多维质量指标（MQM）数据。特别地，我们收集来自具有不同预训练的语言模型主干的模型的结果，并且针对所涉及的翻译方向使用不同的集成策略。
2023-02-17 cs.CL
NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们提出的结果和发现的第一个细微差别的阿拉伯语方言识别共享任务（NADI）。该共享任务包括两个子任务：国家级方言识别（子任务1）和省级次方言识别（子任务2）。共享任务的数据涵盖来自21个阿拉伯国家的100个省份，并从Twitter域收集。因此，NADI是第一个针对国家以下一级自然发生的细粒度方言文本的共享任务。共有来自25个国家的61个小组登记参加这些任务，从而反映了社区对这一领域的兴趣。我们收到了来自18个团队的47个子任务1的提交和来自9个团队的9个子任务2的提交。
2020-11-09 cs.AI cs.CL
Comparing Approaches to Dravidian Language Identification
University of Helsinki（赫尔辛基大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of Wolverhampton（伍尔弗汉普顿大学）
本文介绍了HWR团队在VarDial 2021研讨会上组织的德拉威语言识别（DLI）共享任务的提交内容。DLI训练集包括16，674条以罗马脚本编写的YouTube评论，其中包含与英语和三种南达罗毗荼语之一（卡纳达语，马拉雅拉姆语和泰米尔语）混合的代码文本。我们提交了使用两种模型生成的结果，一种是具有自适应语言模型的朴素贝叶斯分类器，它在许多语言和方言识别任务中表现出具有竞争力的性能，另一种是基于transformer的模型，它被广泛认为是许多NLP任务中最先进的模型。我们的第一次提交是在封闭的提交轨道中发送的，只使用共享任务组织者提供的训练集，而第二次提交被认为是开放的，因为它使用了一个用外部数据训练的预训练模型。我们的团队在基于朴素贝叶斯的提交中获得了共享任务的第二名。我们的研究结果强化了这样一种观点，即深度学习方法在语言识别相关任务中的竞争力不如在许多其他文本分类任务中的竞争力。
2021-03-09 cs.AI cs.CL cs.LG
NEMO: Frequentist Inference Approach to Constrained Linguistic Typology Feature Prediction in SIGTYP 2020 Shared Task
Google（谷歌）
本文介绍了NEMO提交给SIGTYP 2020的共享任务，该任务使用来自世界语言结构地图集（WALS）的数据来预测多种语言的语言类型学特征。我们采用频率论推理来表示类型特征之间的相关性，并使用这种表示来训练简单的多类估计器，预测单个特征。我们描述了两个提交的岭回归为基础的配置，排名第二和第三的整体约束任务。我们的最佳配置在149种测试语言上实现了0.66的微平均准确度得分。
2020-10-12 cs.AI cs.CL
Extended Multilingual Protest News Detection -- Shared Task 1, CASE 2021 and 2022
KNAW Humanities Cluster（荷兰皇家艺术与科学学院人文集群）；Koc University（科奇大学）；Mersin University（梅尔辛大学）；Huawei（华为）；UNC Charlotte（北卡罗来纳大学夏洛特分校）；Birmingham City University（伯明翰城市大学）；ETH Zurich（苏黎世联邦理工学院）；National Institute of Japanese Literature（日本国立文学研究所）；Bulgarian Academy of Sciences（保加利亚科学院）；University of São Paulo（圣保罗大学）；Sabanci University（萨班哲大学）
我们报告了CASE 2022多语言抗议事件检测共享任务1的结果。该任务是CASE 2021的延续，CASE 2021由四个子任务组成，即i）文档分类，ii）句子分类，iii）事件句子共指识别，以及iv）事件提取。CASE 2022扩展包括扩展测试数据，使用更多以前可用语言（即英语、印地语、葡萄牙语和西班牙语）的数据，并为子任务1（文档分类）添加普通话、土耳其语和乌尔都语的新测试数据。使用来自CASE 2021的英语、葡萄牙语和西班牙语的训练数据。因此，预测印地语、汉语、土耳其语和乌尔都语的文档标签发生在zero-shot设置中。CASE 2022研讨会也接受为预测CASE 2021的测试数据而开发的系统的报告。我们观察到，CASE 2022参与者提交的最佳系统在zero-shot设置中为新语言实现了79.71和84.06之间的F1宏。获胜的方法主要是集成模型和合并多种语言的数据。在所有语言中，CASE 2021数据中最好的两个提交都优于去年子任务1和子任务2的提交。在CASE 2021中，只有以下场景的表现没有被新提交的案例所超越：Subtask 3 Portuguese \& Subtask 4 English。
2022-11-21 cs.AI cs.CL cs.LG
Lingua Custodia's participation at the WMT 2021 Machine Translation using Terminologies shared task
Lingua Custodia
本文介绍了Lingua Custodia提交的WMT 21共享任务的机器翻译使用术语。我们考虑三个方向，即英语到法语，俄语和汉语。我们依赖于基于transformer的架构作为构建块，我们探索了一种方法，它引入了两个主要的变化，以处理术语的标准过程。第一种方法是增加训练数据，以鼓励模型在遇到术语约束条件时学习复制行为。第二个变化是约束标记掩蔽，其目的是简化复制行为学习并提高模型泛化能力。实验结果表明，我们的方法满足大多数术语的限制，同时保持高的翻译质量。
2021-11-03 cs.AI cs.CL
In2x at WMT25 Translation Task
University of Chicago（芝加哥大学）；Peking University（北京大学）；Duxiaoman（杜西亚曼）
In2x团队提交WMT25翻译任务成果，聚焦日语相关任务，探索大型语言模型（LLMs）扩展至其他语言的可泛化范式，涵盖数据构建与奖励模型设计，目标提升其在低资源或小众语言中的性能。
2025-08-20 cs.AI cs.CL
Red Dragon AI at TextGraphs 2019 Shared Task: Language Model Assisted Explanation Generation
Red Dragon AI（红龙人工智能）
TextGraphs-13解释再生共享任务要求参与者开发方法来重建基本科学问题的黄金解释。红龙AI的参赛作品直接使用了问题和说明文本的语言，而不是构建一个单独的图形表示。我们提交的排行榜将我们放在了比赛的第三位，但我们在这里提出了三种提高复杂性的方法，每一种方法在比赛结束后的测试集中得分都越来越高。
2019-11-20 cs.AI cs.CL cs.IR
BUSTED at AraGenEval Shared Task: A Comparative Study of Transformer-Based Models for Arabic AI-Generated Text Detection
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）；FAST Karachi（卡拉奇快速大学）
本研究在AraGenEval共享任务中比较三种Transformer模型检测阿拉伯语AI生成文本，发现多语言XLM-RoBERTa以F1=0.7701超越专用阿拉伯语模型，凸显多语言模型的泛化优势。
2025-10-25 cs.AI cs.CL
Challenges and Applications of Automated Extraction of Socio-political Events from Text (CASE 2022): Workshop and Shared Task Report
KNAW Humanities Cluster（荷兰皇家艺术与科学学院人文集群）；European Commission（欧盟委员会）；University of Cagliari（卡利亚里大学）；Sabanci University（萨班哲大学）；Koc University（科奇大学）
我们提供了在EMNLP 2022范围内举行的第五版CASE研讨会的摘要。研讨会包括常规文件、两个主旨发言、共同任务参与者的工作文件和任务概述文件。该研讨会汇集了跨技术和社会科学领域的事件信息收集的所有方面。除了在深度上的进展外，多模式方法的提交和接受表明了这一跨学科研究主题的扩大。
2022-11-21 cs.AI cs.CL cs.LG
mucAI at BAREC Shared Task 2025: Towards Uncertainty Aware Arabic Readability Assessment
Independent Researcher（独立研究者）
本文提出一种基于保形预测和softmax重归一化加权平均的模型无关后处理方法，用于阿拉伯语可读性细粒度分类，在BAREC 2025共享任务中使QWK一致提升1-3个点，句子级盲测达85.7%。
2025-09-18 cs.AI cs.CL
WangLab at MEDIQA-Chat 2023: Clinical Note Generation from Doctor-Patient Conversations using Large Language Models
University of Toronto（多伦多大学）；Terrence Donnelly Centre for Cellular and Biomolecular Research（特伦斯·唐纳利细胞与生物分子研究中心）；Vector Institute for AI（向量人工智能研究院）；University Health Network（大学健康网络）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）
面向 MEDIQA-Chat 2023 临床笔记生成任务，论文比较 PLM 微调与基于 GPT-4 的少样本 ICL，后者排名第一且生成质量接近人工笔记。
2023-06-03 cs.AI cs.CL cs.LG
CardiffNLP at CLEARS-2025: Prompting Large Language Models for Plain Language and Easy-to-Read Text Rewriting
Cardiff University（卡迪夫大学）
本文介绍CardiffNLP团队在CLEARS-2025西班牙语文本适配任务中，采用LLM提示方法，使用Gemma-3模型，在子任务1和2中分别获得第三和第二名。
2025-08-05 cs.AI cs.CL
SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared Task on Hallucinations and Related Observable Overgeneration Mistakes
University of Helsinki（赫尔辛基大学）；SiLO；Université de Lorraine & ICANS Strasbourg（洛林大学及斯特拉斯堡ICANS）；Université Bretagne Sud（布列塔尼南方大学）；CIMAT A. C.；University of Milano-Bicocca（米兰-布雷拉大学）；TU Darmstadt（德累斯顿技术大学）；Aveni；Charles University（查尔斯大学）；HiTZ Basque Center for Language Technology - Ixa（巴斯克语言技术中心-ixa）
本文提出Mu-SHROOM共享任务，将14种语言的LLM幻觉检测构建为跨度标注任务，收到43个团队的2618份提交，通过实证分析揭示了影响性能的关键因素及跨语言幻觉差异等挑战。
2025-04-28 cs.CL
Stacking the Odds: Transformer-Based Ensemble for AI-Generated Text Detection
University of New South Wales（新南威尔士大学）
本文提出使用轻量级Transformer堆叠集成方法检测AI生成文本，在ALTA 2023共享任务官方测试集上取得0.9555的准确率，优于单一模型。
2023-10-29 cs.AI cs.CL
Finetuning LLMs for EvaCun 2025 token prediction shared task
Charles University（查尔斯大学）
本文基于三种LLMs在EvaCun 2025词元预测任务上微调，比较三种提示方法，并在保留数据上评估，贡献在于简单使用训练数据并对比不同提示策略。
2025-10-17 cs.CL
Atyaephyra at SemEval-2025 Task 4: Low-Rank Negative Preference Optimization
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）
本文提出结合低秩适配的负偏好优化方法，用于大语言模型敏感内容遗忘任务，通过高效计算额外正则化项提升遗忘稳定性，并在 SemEval 2025 任务中显著超越基线。
2025-05-07 cs.AI cs.CL cs.LG
Generating Feedback-Ladders for Logical Errors in Programming using Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对现有 LLM 编程反馈过于直接、忽视学习情境且不分层的问题，本文提出为同一题目-错误提交生成多层级“反馈阶梯”，并通过用户研究验证其支持教师按需渐进反馈的价值。
2024-05-08 cs.CL
Findings of the 2016 WMT Shared Task on Cross-lingual Pronoun Prediction
LMU Munich（慕尼黑大学）；Uppsala University（乌普萨拉大学）；Qatar Computing Res. Inst.（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）；University of Helsinki（赫尔辛基大学）；LinkedIn（领英）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Idiap Research Institute（伊迪亚普研究所）
我们描述了2016年WMT跨语言代词预测共享任务的设计、评估设置和结果。这是一个分类任务，要求参与者预测目标语言文本中的占位符值应该用什么代词类标签来替换，并以词形化和PoS标记的形式提供。我们提供了四个子任务，用于英法和英德语言对，在两个方向上。11个团队参与了共享任务; 9个用于英语-法语子任务，5个用于法语-英语，9个用于英语-德语，6个用于德语-英语。大多数提交的数据都优于两个基于强大语言模型的基线系统，对于大多数语言对，使用深度递归神经网络的系统优于使用其他架构的系统。
2019-11-27 cs.AI cs.CL cs.IR
MS-UEdin Submission to the WMT2018 APE Shared Task: Dual-Source Transformer for Automatic Post-Editing
Microsoft（微软）；University of Edinburgh（爱丁堡大学）
本文介绍了微软和爱丁堡大学在WMT 2018上提交的自动后期编辑共享任务。基于来自WMT 2017共享任务的训练数据和系统，我们从上一个共享任务中重新实现了我们自己的模型，并引入了基于广泛参数共享的改进。接下来，我们将对IT领域的双源Transformer模型和数据选择的实现进行实验。我们的提交决定性地赢得了SMT后期编辑子任务，建立了新的最先进的技术，并且在NMT子任务中排名第二（或相等，16.46 vs 16.50 TER）。基于NMT子任务中相当弱的结果，我们假设神经对神经APE实际上可能没有用。
2018-09-01 cs.CL
MSA at BEA 2025 Shared Task: Disagreement-Aware Instruction Tuning for Multi-Dimensional Evaluation of LLMs as Math Tutors
Faculty of Computer Science, MSA University（计算机科学学院，MSA大学）
本文提出MSA-MathEval系统，采用统一指令微调和感知分歧的集成推理，在BEA 2025共享任务中实现LLM数学辅导多维评估，并在提供指导等维度取得领先排名。
2025-05-24 cs.CL
The JHU-Microsoft Submission for WMT21 Quality Estimation Shared Task
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）
本文介绍了JHU-Microsoft联合提交的WMT 2021质量评估共享任务。我们只参与共享任务的任务2（编辑后工作量估计），专注于目标端的词级质量估计。我们试验的技术包括Levenshtein Transformer训练和数据增强，结合了MT输出的前向、后向、往返翻译和伪后期编辑。我们证明了我们的系统相比，广泛采用的OpenKiwi-XLM基线的竞争力。我们的系统也是英语-德语语言对MT MCC指标的顶级系统。
2021-09-17 cs.CL
Team ÚFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Models
Charles University（查理大学）；Faculty Of Mathematics and Physics（数学与物理学院）
眼动追踪数据是研究人类认知，特别是语言理解的一个非常有用的信息来源。在本文中，我们描述了我们的系统CMCL 2022共享任务预测眼动追踪信息。我们描述了我们使用预训练模型（如BERT和XLM）进行的实验，以及我们使用这些表示来预测四个眼动追踪特征的不同方式。除了分析使用两种不同类型的预训练多语言语言模型和不同的池化标记级表示的方法的效果外，我们还探讨了上下文信息如何影响系统的性能。最后，我们还探讨了增加语言信息等因素是否会影响预测。我们提交的作品平均MAE为5.72，在共享任务中排名第五。平均MAE在任务后评价中进一步降低至5.25。
2022-04-11 cs.CL cs.LG
Automatic TM Cleaning through MT and POS Tagging: Autodesk's Submission to the NLP4TM 2016 Shared Task
Autodesk（欧特克）
我们描述了一种基于机器学习的方法来识别翻译记忆中的错误条目。它扩展了Barbu（2015）之前的工作，结合了基于召回的机器翻译和词性标记功能。我们的系统在二进制分类（II）任务中排名第一，三种语言对中有两种：英语-意大利语和英语-西班牙语。
2016-05-19 cs.CL
Detecting Generated Scientific Papers using an Ensemble of Transformer Models
University of Tyumen（秋明大学）；Voctiv RnD d.o.o. Beograd（Voctiv研发有限责任公司（贝尔格莱德））
本文介绍了神经模型开发的DAGPap22共享任务主办的第三次学术文件处理研讨会。这个共享任务的目标是自动检测生成的科学论文。我们的工作重点是比较不同的基于transformer的模型，以及使用额外的数据集和技术来处理不平衡的类。作为最后的提交，我们使用了SciBERT，RoBERTa和DeBERTa的合奏，使用随机过采样技术进行了微调。我们的模型在F1得分方面达到了99.24%。官方的评估结果把我们的系统排在第三位。
2022-09-17 cs.AI cs.CL cs.LG
Lite Training Strategies for Portuguese-English and English-Portuguese Translation
Institute of Computing, University of Campinas（坎皮纳斯大学计算研究所）；School of Electrical and Computer Engineering, University of Campinas（坎皮纳斯大学电气与计算机工程学院）；NeuralMind Inteligência Artificial（NeuralMind 人工智能公司）；David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学 David R. Cheriton 计算机科学学院）
尽管深度学习广泛应用于机器翻译，但开发高质量的翻译模型仍然很昂贵。在这项工作中，我们研究了预训练模型的使用，例如使用低成本硬件进行葡萄牙语-英语和英语-葡萄牙语翻译任务的T5。我们探讨使用葡萄牙语和英语预训练的语言模型，并提出了适应的英语tokenizer代表葡萄牙语字符，如分音符，急性和严重的口音。我们将我们的模型与ParaCrawl数据集子集上的Google翻译API和MarianMT进行了比较，并与WMT 19生物医学翻译共享任务的获奖提交进行了比较。我们还介绍了我们提交的WMT 20生物医学翻译共享任务。我们的结果表明，我们的模型在适度的硬件上（一个8 GB的游戏GPU持续九天）训练时，具有与最先进的模型相竞争的性能。我们的数据、模型和代码可在https://github.com/unicamp-dl/Lite-T5-Translation上获得。
2020-08-20 cs.CL
Sheffield's Submission to the AmericasNLP Shared Task on Machine Translation into Indigenous Languages
University of Sheffield（谢菲尔德大学）
本文介绍谢菲尔德大学在美洲NLP 2023共享任务中，通过扩展、训练和集成NLLB-200变体，从西班牙语翻译至十一种土著语言，在测试集上平均chrF最高，四种语言排名第一。
2025-02-27 cs.CL
Culturally Grounded Physical Commonsense Reasoning in Italian and English: A Submission to the MRL 2025 Shared Task
University of Udine（乌迪大学）；Imperial College London（伦敦帝国理工学院）
本文提出 FormaMentis，一个基于意大利语言和文化的物理常识推理基准，并参与 MRL 2025 共享任务，数据由母语专家标注并翻译成英语以保留文化元素。
2025-10-26 cs.CL
QEMind: Alibaba's Submission to the WMT21 Quality Estimation Shared Task
Alibaba Group（阿里巴巴集团）
质量评估作为机器翻译质量控制的关键环节，已经被研究了很多年。我们的目标是调查自动方法来估计质量的机器翻译结果没有参考翻译。在今年的WMT QE共享任务中，我们利用大规模的XLM-Roberta预训练模型，并额外提出了几个有用的功能来评估翻译的不确定性，以构建我们的QE系统，名为\textit{QEMind}。该系统已被应用于直接评估的一级评分任务和要害差错检测的二进制分数预测任务。在本文中，我们提交了我们对WMT 2021 QE共享任务的提交，一组广泛的实验结果表明，我们的多语言系统在WMT 2020的直接评估QE任务中表现优于最好的系统。
2021-12-30 cs.CL
The University of Edinburgh's Submission to the WMT22 Code-Mixing Shared Task (MixMT)
University of Edinburgh（爱丁堡大学）
爱丁堡大学参与了WMT 22关于代码混合翻译的共享任务。这包括两个子任务：i）从平行的印地语和英语句子生成代码混合的印地语/英语（Hinglish）文本生成，以及ii）从Hinglish到英语的机器翻译。由于这两个子任务都被认为是低资源的，我们将精力集中在仔细的数据生成和管理上，特别是使用单语资源的反向翻译。在子任务1中，我们探讨了限制性解码对英语和音译子词的影响，以产生印度式英语。对于子任务2，我们研究了不同的预训练技术，即比较现有机器翻译模型的简单初始化和对齐增强。对于这两个子任务，我们发现我们的基线系统工作得最好。我们的两个子任务系统都是整体表现最好的提交系统之一。
2022-10-20 cs.CL
UDS--DFKI Submission to the WMT2019 Similar Language Translation Shared Task
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Wolverhampton（伍尔弗汉普顿大学）
在本文中，我们介绍了提交给WMT 2019相似语言翻译共享任务的UDS-DFKI系统。这个共享任务的第一版包含来自三对相似语言的数据：捷克语和波兰语，印地语和尼泊尔语，葡萄牙语和西班牙语。参与者可以选择参加这三个轨道中的任何一个轨道，并提交任何翻译方向的系统产出。我们报告我们的系统从捷克语翻译到波兰语所获得的结果，并评论域外测试数据对我们系统性能的影响。UDS-DFKI在捷克语到波兰语的翻译方面取得了在十个团队中排名第二的竞争力。
2019-08-16 cs.CL
Adapting MARBERT for Improved Arabic Dialect Identification: Submission to the NADI 2021 Shared Task
Microsoft（微软）
在本文中，我们解决了细微差别的阿拉伯语方言识别（NADI）共享任务（Abdul-Mageed等人，2021年），并在所有四个子任务上展示最先进的成果。任务是在国家和省两级确定短方言（DA）和现代标准阿拉伯语（MSA）话语的地理来源。我们的最终模型是建立在MARBERT之上的变量集合，在国家级发展集上实现了DA的34.03%的F1分数-比以前的工作提高了7.63%。
2021-03-01 cs.CL
Learning to Evaluate Translation Beyond English: BLEURT Submissions to the WMT Metrics 2020 Shared Task
Google Research（谷歌研究院）
在过去的十年中，机器翻译系统的质量有了显著的提高，因此，评估已经成为一个越来越具有挑战性的问题。本文介绍了我们对WMT 2020年翻译评估共享任务的贡献，这是翻译自动评估的主要基准。我们提出了几个基于BLEURT的意见书，BLEURT是一个以前发表的基于迁移学习的指标。我们将度量扩展到英语之外，并在14种语言对上进行评估，其中有微调数据，以及4种“zero-shot”语言对，我们没有标记的例子。此外，我们专注于英语到德语，并演示如何将BLEURT的预测与YiSi的预测相结合，并使用替代参考翻译来提高性能。实证结果表明，这些模型在WMT 2019年共享任务上取得了有竞争力的结果，表明了它们对2020年版的承诺。
2020-10-19 cs.CL
Explaining novel senses using definition generation with open language models
University of Oslo（奥斯陆大学）；KU Leuven - Flanders Make（库尔勒文大学-佛兰德斯制造）
本研究将开源大语言模型定义生成器用于新义项解释任务，采用AXOLOTL'24共享任务多语言数据集，微调的开源模型性能优于使用闭源专有LLM的该任务最佳提交结果，且发现编码器-解码器与仅解码器架构定义生成器性能相当。
2025-10-01 cs.CL
WNUT-2020 Task 2: Identification of Informative COVID-19 English Tweets
VinAI Research；Australian e-Health Research Centre, CSIRO（澳大利亚电子健康研究中心（CSIRO））；Oracle Digital Assistant, Oracle（Oracle数字助手（Oracle公司））；The University of Queensland（昆士兰大学）；Oracle（Oracle公司）
在本文中，我们概述了WNUT-2020关于识别信息性COVID-19英语推文的共享任务。我们描述了我们如何构建一个语料库的10 K推文，并组织开发和评估阶段，这项任务。此外，我们还简要总结了55个团队提交的最终系统评估结果，发现（i）许多系统获得了非常高的性能，高达0.91 F1分数，（ii）大多数提交的结果比基线fastText高得多（Joulin等人，2017），以及（iii）在相关语言数据上微调预训练的语言模型，然后进行监督训练，在这项任务中表现良好。
2020-10-16 cs.CL
Unbabel's Submission to the WMT2019 APE Shared Task: BERT-based Encoder-Decoder for Automatic Post-Editing
Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
本文介绍了Unbabel提交给WMT 2019 APE共享任务的英语-德语语言对。随着最近大型、强大的预训练模型的兴起，我们对BERT预训练模型进行了调整，以在编码器-解码器框架中执行自动后期编辑。类似于双编码器架构，我们开发了一个基于BERT的编码器-解码器（BED）模型，其中单个预训练的BERT编码器接收源src和机器翻译tgt字符串。此外，我们探索了一个保守性因素，以限制APE系统执行更少的编辑。正如官方结果所示，当在域内和人工训练数据的加权组合上进行训练时，我们的具有保守性惩罚的BED系统分别在TER和BLEU方面通过$-0.78$和$+1.23$显着提高了强大神经机器翻译系统的翻译。最后，我们的提交达到了一个新的国家的最先进的，前aequo，在英语-德语APE的NMT。
2019-06-29 cs.CL
MetricX-24: The Google Submission to the WMT 2024 Metrics Shared Task
Google（谷歌公司）
本研究推出谷歌提交至WMT24指标共享任务的MetricX-24混合翻译质量指标，支持有参考/无参考评分，经两阶段训练与合成样本增强，性能较MetricX-23显著提升。
2024-10-04 cs.CL
Overview of the Sensemaking Task at the ELOQUENT 2025 Lab: LLMs as Teachers, Students and Evaluators
Charles University, Prague, Czech Republic（查尔斯大学）
本文介绍了ELOQUENT 2025实验室的Sensemaking任务，通过教师、学生和评估者三步框架评估生成式模型，发现全自动评估可行但LLM作为评估者在对抗测试中存在误判问题。
2025-07-16 cs.CL
NADI 2021: The Second Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们提出了第二次细微差别阿拉伯语方言识别共享任务（NADI 2021）的发现和结果。该共享任务包括四个子任务：国家级现代标准阿拉伯语（MSA）识别（子任务1.1）、国家级方言识别（子任务1.2）、省级MSA识别（子任务2.1）和省级次方言识别（子任务2.2）。共享任务数据集涵盖来自21个阿拉伯国家的100个省份，从Twitter域名收集。共有来自23个国家的53个小组登记参加这些任务，从而反映了社区对这一领域的兴趣。我们收到了来自5个团队的16份子任务1.1的提交，来自8个团队的27份子任务1.2的提交，来自4个团队的12份子任务2.1的提交，以及来自4个团队的13份子任务2.2的提交。
2021-04-18 cs.CL
Clean Text and Full-Body Transformer: Microsoft's Submission to the WMT22 Shared Task on Sign Language Translation
Microsoft（微软）
本文介绍了微软在WMT 2022上提交的关于手语翻译的第一个共享任务，这是一个解决瑞士德语手语的手语到口语翻译的公开竞赛。由于数据稀缺和目标端前所未有的超过20k单词的词汇量，该任务非常具有挑战性。此外，数据来自真实的广播新闻，包括原生签名，覆盖长视频场景。受动作识别最新进展的启发，我们通过从预训练的I3D模型中提取特征并应用标准的Transformer网络来整合全身信息。通过对目标文本进行仔细的数据清理，进一步提高了系统的准确性。我们在测试集和开发集上分别获得了0.6和0.78的BLEU分数，这是共享任务参与者中的最佳分数。在人类评价中，提交也达到了第一位。通过应用从唇读模型中提取的特征，BLEU分数在开发集上进一步提高到1.08。
2022-10-24 cs.CL cs.CV
Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?
Singapore Management University（新加坡管理大学）；Shanghai Jiao Tong University（上海交通大学）
本研究审计了三个仓库级性能优化基准（GSO、SWE-Perf、SWE-fficiency），发现参考补丁的可复现性差、评分规则导致排名不一致，且多数任务已被公开提交解决，揭示了聚合排名掩盖的性能差距。
2026-07-17 cs.AI cs.SE
JGU Mainz's Submission to the WMT25 Shared Task on LLMs with Limited Resources for Slavic Languages: MT and QA
Johannes Gutenberg University Mainz（莱茵河畔明斯特约翰·格门特大学）；University of Colorado Boulder（科罗拉多大学波尔德分校）
该研究面向乌克兰语及上下索布语的低资源 MT 与 QA，通过参数高效微调联合训练 Qwen2.5-3B-Instruct，并结合额外数据、RAG 与集成，模型在两项任务上均超过基线。
2025-09-26 cs.CL
Overview of ImageArg-2023: The First Shared Task in Multimodal Argument Mining
University of Pittsburgh（匹兹堡大学）
本文介绍了首个多模态论辩挖掘共享任务ImageArg，包含推文立场分类和图像说服力分类两个子任务，并报告了来自多国团队的提交情况及最佳F1分数结果。
2023-10-24 cs.CL
Scaling up COMETKIWI: Unbabel-IST 2023 Submission for the Quality Estimation Shared Task
Unbabel；INESC-ID；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）
本文基于 COMETKIWI-22 构建多语言质量估计方法，在 WMT 2023 QE 共享任务中于词级、跨度级和句子级均取得第一，并显著超越此前最优模型。
2023-09-21 cs.CL
MIA 2022 Shared Task Submission: Leveraging Entity Representations, Dense-Sparse Hybrids, and Fusion-in-Decoder for Cross-Lingual Question Answering
Apple（苹果公司）
我们描述了我们的两阶段系统的多语言信息访问（MIA）2022跨语言开放检索问答共享任务。第一阶段包括多语种段落检索与混合密集和稀疏检索策略。第二阶段由一个阅读器组成，它输出第一阶段返回的顶部段落的答案。我们展示了在预训练中使用多语言语言模型与实体表示，稀疏检索信号以帮助稠密检索和解码器融合的有效性。在开发集上，我们在XOR-TyDi QA上获得43.46 F1，在MKQA上获得21.99 F1，平均F1得分为32.73。在测试集上，我们在XOR-TyDi QA上获得40.93 F1，在MKQA上获得22.29 F1，平均F1得分为31.61。我们在开发和测试集上都比官方基准提高了4个F1点。
2022-07-18 cs.CL
Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Science and Technology of China（中国科学技术大学）；University of Macau（澳门大学）；National University of Singapore（新加坡国立大学）
在本文中，我们提出了我们的提交的翻译级MQM基准在质量评估共享任务，名为统一翻译评估（UniTE）。具体来说，我们的系统采用了UniTE的框架，该框架在训练过程中将三种类型的输入格式与预先训练的语言模型相结合。首先，我们将伪标记数据示例应用于连续预训练阶段。值得注意的是，为了减少预训练和微调之间的差距，我们使用了数据修剪和基于排名的分数归一化策略。在微调阶段，我们使用了过去几年WMT比赛的直接评估（DA）和多维质量评估（MQM）数据。最后，我们收集了仅源的评估结果，并集成了两个UniTE模型生成的预测，其主干分别是XLM-R和InfoXLM。结果表明，我们的模型在多语言和英俄设置中达到了第一的总排名，在英德和中英设置中达到了第二的总排名，在今年的质量评估比赛中表现出了相对较强的表现。
2023-02-17 cs.CL
CUNI Submission to MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出采用“先翻译后测试”策略处理多语言命名实体识别与问答任务，并设计标签敏感翻译评分方法以对齐标签位置，但微调受领域不匹配限制未能超过基线。
2023-10-25 cs.CL
The CoNLL--SIGMORPHON 2018 Shared Task: Universal Morphological Reinflection
Johns Hopkins University（约翰霍普金斯大学）；University of Zurich（苏黎世大学）；University of Melbourne（墨尔本大学）；NYU（纽约大学）；University of Colorado（科罗拉多大学）；University of Helsinki（赫尔辛基大学）
CoNLL-SIGMORPHON 2018分享了关于形态生成的监督学习的任务，其中包括来自103种类型多样的语言的数据集。除了增加早期监督任务中涉及的语言数量外，今年的共享任务还包括一个新的第二个任务，要求参与者在上下文中改变单词，类似于完形填空任务。第二个任务包含七种语言。任务1收到27份提交，任务2收到6份提交。这两项任务的特点是低，中，高数据条件。几乎所有提交的作品都包含神经组件，并建立在2017年早期共享任务的高排名系统上。在变音任务（任务1）中，去年的变音任务中的52种语言中有41种在低资源环境中表现出最佳系统的改进。完形填空任务（任务2）被证明是困难的，很少有人能够在一个简单的神经基线系统和一个引理重复基线上持续改进。
2020-02-25 cs.CL
MetricX-25 and GemSpanEval: Google Translate Submissions to the WMT25 Evaluation Shared Task
Google（谷歌）
本研究针对WMT25翻译评测共享任务，基于Gemma 3分别开发了适配仅编码器架构的质量预测模型MetricX-25和生成式错误跨度检测模型GemSpanEval，二者性能均达到优异水平。
2025-10-28 cs.CL
Generation Challenges: Results of the Accuracy Evaluation Shared Task
University of Aberdeen（阿伯丁大学）
评估准确性的共同任务侧重于在体育报道领域评估神经NLG系统产生的文本的事实准确性的技术（手动和自动）。四个小组提交了这项任务的评价技术，使用非常不同的方法和技术。表现最好的提交者在这项艰巨的任务中表现出色。然而，所有的自动提交都很难检测到语义或语用复杂的事实错误（例如，基于不正确的计算或推断）。
2021-08-15 cs.CL
CometKiwi: IST-Unbabel 2022 Submission for the Quality Estimation Shared Task
Unbabel（Unbabel公司）；INESC-ID（葡萄牙国家系统与计算机工程研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Instituto de Telecomunicações（葡萄牙电信研究所）
我们介绍了IST和Unbabel对WMT 2022质量评估（QE）共享任务的联合贡献。我们的团队参与了所有三个子任务：（i）句子和单词级质量预测;（ii）可解释的QE;以及（iii）要害差错检测。对于所有的任务，我们都建立在COMET框架之上，将其与OpenKiwi的预测器-估计器架构连接起来，并为其配备了一个单词级的序列标记器和一个解释提取器。我们的研究结果表明，在预训练过程中加入参考文献可以提高下游任务中几种语言对的表现，并且与句子和单词级别的目标联合训练可以进一步提高性能。此外，将注意力和梯度信息相结合被证明是提取高级QE模型的良好解释的最佳策略。总体而言，我们提交的作品在几乎所有语言对的所有三项任务中都取得了相当大的成绩。
2022-09-13 cs.CL cs.LG
SandboxAQ's submission to MRL 2024 Shared Task on Multi-lingual Multi-task Information Retrieval
SandboxAQ（桑博克斯量子公司）
本研究针对五种语言的问答与命名实体识别任务，测试五种大语言模型搭配多种提示方法的效果，发现模型表现随任务、语言差异显著，凸显多语言NLP需任务特定方法。
2024-10-28 cs.CL
CUNI Non-Autoregressive System for the WMT 22 Efficient Translation Shared Task
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个非自回归系统提交给WMT 22高效翻译共享任务。Helcl等人（2022）使用了我们的系统，试图在非自回归和自回归模型之间提供公平的比较。本次提交的文件旨在建立坚实的基线以及合理的评估方法，特别是在衡量解码速度方面。该模型本身是一个12层的Transformer模型，通过强自回归教师模型在知识提取数据集上使用连接主义时间分类进行训练。
2022-12-01 cs.CL
ABI Neural Ensemble Model for Gender Prediction Adapt Bar-Ilan Submission for the CLIN29 Shared Task on Gender Prediction
ADAPT, School of Computing, Dublin City University（都柏林城市大学计算学院ADAPT）；Computer Science Department, Bar-Ilan University（巴伊兰大学计算机科学系）
我们提出了我们的系统为2019年共享的跨流派的性别检测荷兰的任务。我们实验了多种神经模型（CNN、RNN、LSTM等），更“传统”的模型（SVM、RF、LogReg等），不同的特征集以及数据预处理。最终结果表明，使用标记化的非小写数据最适合大多数神经模型，而单词集群，字符三元组和单词列表的组合显示出对大多数更“传统”（即非神经）模型最有益，击败了先前任务中使用的特征，如n-gram，字符n-gram，词性标签及其组合。与之前类似的共享任务中描述的结果相反，我们的神经模型在最佳特征设置下的表现优于我们最好的传统方法。我们的最终模型由一个加权集成模型组成，该模型结合了前25个模型。我们的最终模型赢得了域内性别预测任务和跨类型挑战，在域内性别预测任务中的平均准确率为64.93%，在跨类型性别预测任务中的平均准确率为56.26%。
2019-02-23 cs.CL
