Evaluating LLM-Based Translation of a Low-Resource Technical Language: The Medical and Philosophical Greek of Galen
Department of Classical and Mediterranean Studies, Vanderbilt University(维斯尼尔大学古典与地中海研究系);Center for Hellenic Studies, Harvard University(哈佛大学希腊研究中心);Department of Philosophy, Vanderbilt University(维斯尼尔大学哲学系);Machine Intelligence and Normative Theory (MINT) Lab, Australian National University(澳大利亚国立大学机器智能与规范理论实验室);Department of the Classics, Harvard University(哈佛大学古典学系)
本文评估了商业大语言模型在古希腊技术文本中的机器翻译质量,并将自动化评估指标与专家判断对比,发现术语稀有性是翻译失败的主要预测因素。
2026-04-15 cs.AI cs.CL
The Paradox of Poetic Intent in Back-Translation: Evaluating the Quality of Large Language Models in Chinese Translation
Computer Science Department University of Brasilia(布拉兹利亚大学计算机科学系);Math Department Federal Institute of Brasilia(布拉兹利亚联邦学院数学系)
本研究构建多样化语料库,利用BT-Fried评估系统对比大语言模型与传统翻译工具在中英翻译中的表现,揭示了“诗意意图悖论”并提出改进的BLEU变体,推进了对AI翻译文化保真度的理解。
2025-04-28 cs.CL
Evaluating LLMs on Chinese Idiom Translation
Georgia Institute of Technology(佐治亚理工学院)
针对中文成语翻译难题,提出IdiomEval框架并标注900个翻译对,发现现有大模型及评估指标表现不佳,进而开发了检测错误达0.68 F1分数的改进模型。
2025-08-14 cs.CL
Evaluating o1-Like LLMs: Unlocking Reasoning for Translation through Comprehensive Analysis
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
本文综合评估多个类o1大语言模型的多语言翻译表现,分析模型规模、成本速度与温度参数的影响,发现DeepSeek-R1等模型建立新基准并兼具文化翻译优势。
2025-02-17 cs.CL
When Does Data Augmentation Help? Evaluating LLM and Back-Translation Methods for Hausa and Fongbe NLP
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);Centre for Text Technology(文本技术中心);North-West University(北开普大学)
本文评估了LLM生成和回译方法在豪萨语和丰贝语中的有效性,发现任务类型而非语言或LLM质量决定增强效果,不同任务对增强结果有不同影响。
2026-04-14 cs.AI cs.CL
Convergences and Divergences between Automatic Assessment and Human Evaluation: Insights from Comparing ChatGPT-Generated Translation and Neural Machine Translation
School of Foreign Languages, Shanghai Jiao Tong University(上海交通大学外国语学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Institute of Corpus Studies and Applications, Shanghai International Studies University(上海外国语大学语料库研究与应用研究所)
本研究比较了ChatGPT与NMT系统的翻译质量,发现自动评估与人工评估在形式保真度上一致,但在语义和语用保真度上存在分歧,突显了人工判断的不可或缺性。
2024-10-12 cs.AI cs.CL
Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction
New York University(纽约大学)
本文研究LLM在低资源语言翻译中的挑战,通过构建形式文法模型评估翻译性能,发现语法规模、句子长度及语言差异显著影响翻译准确性。
2026-04-08 cs.AI cs.CL
Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences(应用科学大学);University of Helsinki(赫尔辛基大学)
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能,发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
VakyArth: Evaluating Pragmatic Competence in LLMs across Indic Languages
Georgia Institute of Technology(佐治亚理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究推出首个印度语言语用基准VakyArth,评估多语言LLM在印度语言文化相关语用现象上的表现,发现其存在系统性语用推理失败及语言间差异。
2026-09-03 cs.AI cs.CL
Asm2SrcEval: Evaluating Large Language Models for Assembly-to-Source Code Translation
Canadian Institute for Cybersecurity(加拿大网络安全研究所);University of New Brunswick(新不伦瑞克大学);Faculty of Computer Science(计算机科学学院)
本文提出Asm2SrcEval基准,评估五种先进大语言模型在汇编到源代码翻译任务中的性能,揭示模型在文本相似性、流畅性和效率上的权衡,为程序翻译的准确性和效率研究提供基础。
2025-11-28 cs.AI cs.SE
Listening or Reading? Evaluating Speech Awareness in Chain-of-Thought Speech-to-Text Translation
Barcelona Supercomputing Center, Spain(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya, Spain(加泰罗尼亚理工大学);DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany(DFKI GmbH萨尔兰信息技术校区)
该研究评估CoT式S2TT系统的语音感知能力,发现其仍依赖转录文本,未充分利用语音,需构建明确整合声学信息的翻译架构。
2026-08-20 cs.CL cs.SD
The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
本文基于LLMs研究英译加泰罗尼亚语和西班牙语机器翻译中的性别偏见,发现基础LLMs偏见高于NMT模型,并提出一种提示结构在WinoMT上减少高达12%性别偏见。
2024-07-26 cs.CL
STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity
Hong Kong University of Science and Technology(香港科技大学);Tencent Youtu Lab(腾讯优图实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
提出STEB基准,通过描述-总结框架评估语音到语音翻译在情感、场景风格和非语言发声方面的表现力,发现现有系统在语义保真度上表现良好但表现力保留不足。
2026-06-25 cs.AI cs.SD
Is Context Helpful for Chat Translation Evaluation?
Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Carnegie Mellon University(卡内基梅隆大学);INESC-ID(INESC-ID研究所)
本文元评估了句子级自动指标在聊天翻译质量评估中的表现,发现融入上下文信息能提升无参考及非英语场景下的评估相关性,并提出基于大语言模型和双语上下文的Context-MQM指标。
2024-03-13 cs.CL
ORCA: Evaluating LLMs on Data Science Code Translation
The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出ORCA基准评估大语言模型在数据科学代码翻译中的表现,发现现有模型性能有限,并提出意图增强方法,在ORCA-MAIN和ORCA-PROJECT上分别提升成功率4.80%和5.33%。
2026-09-28 cs.AI
Signature vs. Substance: Evaluating the Balance of Adversarial Resistance and Linguistic Quality in Watermarking Large Language Models
IMSA;MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文针对大语言模型水印技术存在的质量受损、易受对抗攻击的问题,对比评估多种水印技术在两类对抗攻击下的鲁棒性与文本质量保留能力,发现其可保留语义但易受攻击、会偏离原写作风格。
2025-08-11 cs.AI cs.CL
Evaluating Large Language Models for Hausa and Fongbe Machine Translation: Benchmarks, Failures, and Metric Reliability
Carnegie Mellon University Africa(卡内基梅隆大学非洲校区);North-West University(西北大学)
本研究评估了四种大语言模型在英语到豪萨语和丰贝语(两种西非低资源语言)的翻译质量,发现质量因语言而异,模型排名不一致,且自动指标与人类判断的相关性波动大,建议采用多指标评估并注意神经指标的局限性。
2026-06-23 cs.AI cs.CL cs.LG
Evaluating Menu OCR and Translation: A Benchmark for Aligning Human and Automated Evaluations in Large Vision-Language Models
Institution1(机构1);Institution2(机构2)
针对现有大视觉语言模型评估忽视复杂布局长文本理解能力的问题,本文提出专门的菜单OCR与翻译基准MOTBench,其自动评估与人类评估高度一致,可用于评估模型性能并指导后续发展。
2025-05-19 cs.AI cs.LG
Evaluating Large Language Models on Urdu Idioms
Technical University Dortmund(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本研究构建含4000组双语习语对的乌尔都语跨文字习语评估基准,采用多种提示策略评估前沿LLMs,发现其在习语处理上优于传统NMT,凸显提示工程的重要性。
2026-09-04 cs.CL
English Please: Evaluating Machine Translation with Large Language Models for Multilingual Bug Reports
Juniper Networks Inc.(Juniper网络公司)
本研究首次系统评估了 DeepL、AWS Translate 及多种大型语言模型在多语言缺陷报告翻译和源语言识别上的表现,发现不同系统各有所长,强调了领域适配和任务特定评估的重要性。
2025-05-08 cs.CL cs.SE
Beyond BLEU: A Semantic Evaluation Method for Code Translation
TU Darmstadt(图宾根大学);Hessian Center for Artificial Intelligence(黑森人工智能中心);National Research Center for Applied Cybersecurity ATHENE(应用网络安全国家研究中心ATHENE)
本文提出一种基于语义等价的代码翻译评估方法,通过编译器测试方法评估LLM的二进制提升任务性能,发现语义正确性得分与BLEU得分无显著相关性。
2026-05-06 cs.CL cs.PL
Ask Language Model to Clean Your Noisy Translation Data
University of Amsterdam(阿姆斯特丹大学);Huawei Amsterdam Research Center(华为阿姆斯特丹研究中心)
针对MTNT数据集目标句含噪影响NMT模型鲁棒性评估的问题,利用LLM清洗噪声生成C-MTNT数据集,实验证明其能有效评估模型鲁棒性并验证了LLM的数据清洗潜力。
2023-10-24 cs.AI cs.CL
Visualizing Uncertainty in Translation Tasks: An Evaluation of LLM Performance and Confidence Metrics
本研究针对LLM翻译不确定性,提出三种UQ指标并开发网页可视化工具,通过T5模型和WMT19数据集验证,发现与传统指标线性相关,增强了翻译系统的可解释性。
2025-02-24 cs.AI cs.CL cs.LG
Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation
Nanjing University(南京大学);University of Science and Technology of China(中国科学技术大学);Tencent AI Lab(腾讯AI Lab)
本研究通过受控实验发现LLMs在机器翻译评估中依赖参考信息而源语言信息有时起反作用,揭示了其跨语言能力未被充分利用,并指出了改进方向。
2024-06-06 cs.AI cs.CL
PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);ByteDance(字节跳动)
本文提出 PARROT 跨系统 SQL 翻译基准,通过多规模变体与 22 种生产级数据库系统评估 LLM 的 SQL 方言理解能力,并公开代码与排行榜。
2025-09-27 cs.AI cs.CL cs.DB
Exploring the Correlation between Human and Machine Evaluation of Simultaneous Speech Translation
University of Leeds(利兹大学);University of Mainz(美因茨大学)
本文以专家人工评分为基准,比较句嵌入与大型语言模型在无参考译文条件下评估同传忠实度的相关性,发现直接提示的GPT-3.5表现最佳且上下文窗口影响显著。
2024-06-14 cs.CL
ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions
College of Mathematics, Sichuan University(四川大学数学学院);Theory Lab, 2012 Labs, Huawei Technologies Co., Ltd(华为技术有限公司2012实验室理论实验室)
提出英中对照基准ChLogic,通过形式逻辑模板构建数据集,测试模型在英文和多种中文表达下逻辑推理的鲁棒性,发现英中性能差距,回译效果因数据集和模型而异。
2026-06-17 cs.CL
Syntax Is Easy, Semantics Is Hard: Evaluating LLMs for LTL Translation
Stony Brook University(石溪大学)
本文评估了多个LLM将自然语言句子转换为LTL公式的能力,发现其在语法层面表现较好,但在语义层面存在挑战,且更详细的提示和重新表述为代码补全问题能提升性能。
2026-04-08 cs.AI cs.LO
Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出MulTypo算法,评估18种开源LLM在多语言拼写错误下的表现,发现拼写错误显著降低性能,尤其在生成任务和推理任务中,且语言和任务类型影响鲁棒性,强调需关注噪声训练和多语言鲁棒性评估。
2026-04-18 cs.CL
Found in Translation: Measuring Multilingual LLM Consistency as Simple as Translate then Evaluate
Kahlert School of Computing University of Utah(卡勒特计算学院犹他大学)
本文提出基于“翻译后评估”策略的跨语言一致性评估框架,从信息与同理心两个维度测量LLM在30种语言中的响应一致性,揭示了流行模型在多语言能力上的显著缺陷。
2025-05-28 cs.CL
Automatic Labelling of Speech Translation Errors
Charles University(查尔斯大学);University of Edinburgh(爱丁堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对语音翻译缺乏置信度评估方法的问题,提出STEL标注协议,通过文本和多模态系统分析,发现直接语音处理对任务必要且与文本系统互补。
2026-06-04 cs.CL
Towards Large Language Model driven Reference-less Translation Evaluation for English and Indian Languages
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴));LTRC(语言技术研究中心)
本文提出用大语言模型模拟人类直接评估,构建英语及印度语言的无参考翻译评分任务,并通过零样本、上下文学习和微调验证LLaMA-2-13B可比或优于现有指标。
2024-04-03 cs.CL
ChEmREF: Evaluating Language Model Readiness for Chemical Emergency Response
University of Southern California(南加州大学)
本文提出化学应急响应评估基准ChEmREF,设置三类相关任务测试语言模型的化学应急能力,结果显示模型有应用潜力但仍需人工监督。
2025-11-14 cs.AI
Revisiting Round-Trip Translation for Quality Estimation
Naver Papago
质量评估(QE)是在没有人工翻译参考的情况下自动评估翻译质量的任务。计算输入句子和往返翻译(RTT)之间的BLEU曾经被认为是QE的一个指标,然而,它被发现是一个差的翻译质量预测。最近,各种预先训练的语言模型通过提供语义上有意义的单词和句子嵌入在NLP任务中取得了突破。在本文中,我们采用语义嵌入RTT为基础的QE。与之前提交的WMT 2019质量估计指标任务相比,我们的方法与人类判断的相关性最高。虽然向后翻译模型可以是一个缺点,当使用RTT,我们观察到,语义级的指标,基于RTT的QE是强大的向后翻译系统的选择。此外,所提出的方法在SMT和NMT前向翻译系统中表现出一致的性能,这意味着该方法不会惩罚某种类型的模型。
2020-04-29 cs.CL cs.LG
Evaluating the Efficacy of Length-Controllable Machine Translation
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本研究针对长度可控机器翻译现有评估指标适配性不足的问题,首次系统性评估18种相关指标,发现BLEURT和COMET与人工评估相关性最高,最适合作为该任务的评估指标。
2023-05-03 cs.AI cs.CL
Investigating Numerical Translation with Large Language Models
Huawei Translation Services Center(华为翻译服务中心)
本文构建涵盖十种类型的中英文真实业务数字翻译数据集,评估开源 LLM,发现大单位数字误译普遍,并提出三种缓解策略。
2025-01-09 cs.CL
BURMESE-SAN: Burmese NLP Benchmark for Evaluating Large Language Models
提出首个全面评估大语言模型在缅甸语上理解、推理和生成能力的基准BURMESE-SAN,包含七个子任务,并通过母语者驱动构建确保语言自然性和文化真实性。
2026-05-22 cs.CL
Evaluating Gender Bias in the Translation of Gender-Neutral Languages into English
Microsoft(微软)
针对中性性别语言英译时性别偏见缺乏评估基准的问题,研究团队构建了含四种语言对、带多性别变体的GATE X-E扩展语料库,并基于GPT-3.5 Turbo提出英语性别改写方案且完成评估,相关成果已开源。
2023-12-13 cs.AI cs.CL
Language Models and Cycle Consistency for Self-Reflective Machine Translation
Tsinghua University(清华大学)
本文提出利用循环一致性隐式评估并优化LLM的机器翻译质量,无需平行语料,实验验证了模型规模与推理计算缩放定律。
2024-11-05 cs.AI cs.CL cs.IR
An Analysis on Automated Metrics for Evaluating Japanese-English Chat Translation
Tokyo Denki University(东京电机大学)
本文分析了传统与神经网络指标在日英聊天翻译评估中的表现,发现传统指标在模型排名上与神经网络指标一致且更高效,但神经网络指标(尤其是COMET)与人工判断相关性更高,且所有指标在处理含指代性零代词的句子时均存在困难。
2024-12-24 cs.AI cs.CL
Evaluating Machine Translation Performance on Chinese Idioms with a Blacklist Method
Peking University(北京大学);University of Edinburgh(爱丁堡大学)
习语翻译是机器翻译中的一个具有挑战性的问题,因为习语的意义是非组合的,逐字翻译很可能是错误的。本文主要研究机器翻译系统中习语翻译的质量评估问题。我们引入了一种新的评估方法的基础上成语特定的直译黑名单,基于洞察力的翻译输出中的任何黑名单中的单词的出现表明可能的翻译错误。我们介绍了一个数据集,CIBB(中国成语黑名单银行),并进行评估的国家的最先进的中英文神经MT系统。我们的评估证实,在我们的测试集中,相当数量的成语被误译(46.1%),直译错误是一种常见的错误类型,我们的黑名单方法是有效的识别直译错误。
2018-02-20 cs.CL
Evaluating Pronominal Anaphora in Machine Translation: An Evaluation Measure and a Test Suite
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(赛富时亚洲研究院);Sofia University(索非亚大学);Qatar Computing Research Institute(卡塔尔计算研究所)
机器翻译中正在进行的神经革命使得更容易在句子级别之外对更大的上下文进行建模,这可能有助于解决一些话语级别的歧义,例如代词回指,从而实现更好的翻译。不幸的是,即使人类认为由此产生的改进是实质性的,它们仍然几乎没有被BLEU等传统的自动评估措施所注意到,因为只有少数单词最终受到影响。因此,需要专门的评价措施。考虑到这一目标,我们贡献了一个广泛的,有针对性的数据集,可用作代词翻译的测试套件,涵盖多个源语言和不同的代词错误从真实的系统翻译,英语。我们进一步提出了一个评价指标来区分好的和坏的代词翻译。我们还进行了用户研究,以报告与人类判断的相关性。
2019-08-31 cs.AI cs.CL cs.LG
Evaluating Gender Bias in Speech Translation
Alexandria University(亚历山大大学)
科学界越来越意识到必须接受多元化,并始终代表主要和次要的社会群体。目前,对于不同类型的偏差没有标准的评估技术。因此,迫切需要提供评估集和协议来测量我们的自动系统中的现有偏差。评估偏见应该是在系统中减轻偏见的重要一步。本文介绍了WinoST,这是一款用于评估语音翻译中性别偏见的新的免费挑战赛。WinoST是WinoMT的语音版本,WinoMT是MT挑战集,两者都遵循评估协议来测量性别准确性。使用最先进的端到端语音翻译系统,我们报告了四种语言对的性别偏见评估,我们表明语音翻译的性别准确率比MT低23%以上。
2022-05-14 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院)
回译(Back translation,BT)已被广泛应用并成为神经机器翻译(Neural Machine Translation,NMT)中数据增强的标准技术之一,BT已被证明有助于有效提高翻译性能,特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上,但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译(SMT)模型的影响,用于中文到越南语和越南语到中文,基于字符和基于单词的设置。部分地证实了前人工作中的一些结论,并得出了一些有趣的发现和结论,这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation
AWS AI Labs(AWS人工智能实验室)
随着通用机器翻译(MT)质量的提高,对探索细粒度质量方面的有针对性的基准测试的需求也在增加。特别是,翻译中的性别准确性可能会对输出流畅性,翻译准确性和道德产生影响。在本文中,我们介绍了MT-GenEval,一个用于评估从英语翻译成八种广泛使用的语言的性别准确性的基准。MT-GenEval补充了现有的基准,以八种语言对提供现实的、性别平衡的、反事实的数据,其中个人的性别在输入部分中是明确的,包括需要跨性别协议的多句部分。我们的数据和代码在CC BY SA 3.0许可证下公开提供。
2022-11-02 cs.CL
Evaluating Robustness to Input Perturbations for Neural Machine Translation
Amazon AI(亚马逊人工智能)
神经机器翻译(NMT)模型对输入中的小扰动敏感。对这种扰动的鲁棒性通常使用翻译质量度量来测量,例如噪声输入上的BLEU。本文提出了额外的指标,衡量的相对退化和变化时,小的扰动被添加到输入翻译。我们专注于一类采用子字正则化来解决鲁棒性的模型,并使用提出的鲁棒性措施对这些模型进行了广泛的评估。结果表明,我们提出的指标揭示了一个明显的趋势,提高鲁棒性扰动时,使用子字正则化方法。
2020-05-01 cs.CL
Evaluating Amharic Machine Translation
机器翻译(MT)系统现在能够为高资源语言对提供非常准确的结果。然而,对于许多低资源语言,机器翻译仍处于积极的研究之中。在本文中,我们开发并共享一个数据集,以自动评估阿姆哈拉语MT系统的质量。我们比较了两个商业上可用的MT系统,支持翻译阿姆哈拉语和英语来评估目前的状态MT阿姆哈拉语。BLEU评分结果表明,阿姆哈拉语翻译的结果是有希望的,但仍然很低。我们希望,这个数据集将是有用的研究界在学术界和工业界作为一个基准来评估阿姆哈拉语MT系统。
2020-03-31 cs.CL
ROC Analysis for Evaluating Translation Quality Estimation Systems
Acta-Transphere;CFB Scientific Translations LLC
本文提出使用接收者操作特征(ROC)分析评估自动翻译质量估计(QE)系统,该方法与现有方法结果一致,并能为商业决策提供可操作的性能洞察。
2026-10-06 cs.CL
Evaluating Language Translation Models by Playing Telephone
Stony Brook University(石溪大学)
针对现有翻译评估方法受限于语言模型能力的问题,提出无监督的多轮翻译数据生成方法,训练评估系统,在评分和选择任务上超越xCOMET。
2025-09-23 cs.CL
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.(Aylien有限公司)
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练,在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT,以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知,就我们使用的训练数据的总大小而言,这是迄今为止对多语言翻译进行的最大评估,就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估,突出了共享解码器参数的方法之间的权衡。我们发现,具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
Evaluating the Impact of Verbal Multiword Expressions on Machine Translation
University of Cincinnati(辛辛那提大学)
研究分析了三种口语多词表达类型对英译多语言机器翻译质量的影响,发现其降低翻译质量主要归因于多词表达本身而非句子层面难度。
2026-04-20 cs.CL
Evaluating Automatic Metrics with Incremental Machine Translation Systems
University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
本文构建了一个跨六年、12个翻译方向的商业机器翻译数据集,利用系统随时间改进的假设来评估翻译指标,证实神经指标优势并探讨翻译质量对指标可靠性的影响。
2024-10-03 cs.CL
Evaluating Optimal Reference Translations
ETH Zürich(苏黎世联邦理工学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Faculty of Mathematics and Physics(数学与物理学院);Charles University(查理大学)
针对高资源语言对下机器翻译质量提升后标准参考译文存疑、传统评估方法难辨缺陷的问题,本文提出构建“最优参考译文”的方法以提升人工翻译质量标准,并验证了其质量显著优于标准参考译文,明确了评估与翻译编辑的关联。
2024-03-08 cs.CL
Training and Meta-Evaluating Machine Translation Evaluation Metrics at the Paragraph Level
Google(谷歌)
针对段落级机器翻译自动评估效果不明确的问题,研究提出从现有句子级数据构建段落级评估数据集的方法,实验发现句子级指标与段落级指标的评估效果相当,并分析了背后原因。
2023-08-28 cs.CL