Translation Analytics for Freelancers II: Benchmarking Local LLMs for Confidential Translation Workflows
University of Georgia(佐治亚大学)
针对自由译者和小型语言服务提供商,开发了实用低门槛的方法,通过基准测试本地可运行的大语言模型在保密敏感领域的离线翻译性能,发现精心选择的本地大语言模型可匹配或超越本地神经机器翻译系统和前沿大语言模型,但落后于顶级商业神经机器翻译系统。
2026-05-29 cs.CL cs.HC
Comparing Formulaic Language in Human and Machine Translation: Insight from a Parliamentary Corpus
最近的一项研究表明,与人类翻译相比,神经机器翻译包含更多由相对高频单词组成的强关联公式化序列,但远没有由相对罕见单词组成的强关联公式化序列。这些结果是在翻译高质量的报纸文章的基础上获得的,其中人类翻译可以被认为不是很字面。本研究试图复制这一研究使用议会语料库。这些文本由三个著名的神经机器翻译系统从法语翻译成英语:DeepL、谷歌翻译和微软翻译。结果证实了新闻语料库的观察,但差异不太强烈。他们认为,在比较人类翻译和机器翻译时,使用通常会导致更多直译的文本类型(如议会语料库)可能更可取。关于这三种神经机器系统之间的差异,谷歌翻译包含的高度搭配的二元组(由CollGram技术识别)似乎比Deepl和微软翻译少。
2022-06-22 cs.CL
The Ongiini-Eval-OW Benchmark: A Concept Paper for the Planned Benchmarking of Machine Translation and Large Language Models on Oshindonga and Oshikwanyama
针对Oshiwambo语系中Oshindonga和Oshikwanyama方言缺乏机器翻译评估基准的问题,提出包含600条目的Ongiini-Eval-OW基准,涵盖多译者参考、现象分层和可复现评分,计划于2026年发布。
2026-09-29 cs.CL
Arabizi vs LLMs: Can the Genie Understand the Language of Aladdin?
Université de Genève(日内瓦大学)
本研究针对Arabizi(阿拉伯语口语的混合书写形式)的机器翻译挑战,评估不同LLM解码并翻译多种少被研究的阿拉伯方言Arabizi的能力,对比其译成现代标准阿拉伯语与英语的效果,回应要点翻译需求。
2025-04-17 cs.CL
English Please: Evaluating Machine Translation with Large Language Models for Multilingual Bug Reports
Juniper Networks Inc.(Juniper网络公司)
本研究首次系统评估了 DeepL、AWS Translate 及多种大型语言模型在多语言缺陷报告翻译和源语言识别上的表现,发现不同系统各有所长,强调了领域适配和任务特定评估的重要性。
2025-05-08 cs.CL cs.SE
LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation
AI Amplified (Aimped) Inc.(AI Amplified(Aimped)公司)
本研究提出“LLMs-in-the-loop”方法,利用高质量领域内数据微调 MarianMT 构建小型医学翻译模型,在六种语言上表现优于 Google Translate、DeepL 和 GPT-4-Turbo 等更大系统。
2024-07-26 cs.AI cs.CL
Thesis proposal: Are We Losing Textual Diversity to Natural Language Processing?
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
该论文以神经机器翻译为测试平台,探究自然语言处理算法的归纳偏置是否会损害非典型文本处理、降低生成文本多样性,分析其训练与解码层面的成因并提出优化方向。
2024-09-15 cs.CL
Gender Bias in English-to-Greek Machine Translation
Ghent University(根特大学);University of Antwerp(安特卫普大学)
本文通过构建GendEL双语数据集,研究Google Translate和DeepL在英译希腊语中的性别偏见,并评估GPT-4o作为偏见缓解工具的潜力,发现商用系统在性别未指定时缺乏中立翻译能力,而GPT-4o虽有改善但仍存残余偏见。
2025-06-11 cs.CL
Creative and Context-Aware Translation of East Asian Idioms with GPT-4
UC Santa Barbara(圣巴巴拉大学);California Institute of Technology(加州理工学院)
本文研究东亚习语翻译难题,通过自动评估忠实度与创造性,发现 GPT-4 的帕累托最优提示策略优于 Google 和 DeepL,并能低成本生成远超人类基线的高质量语境感知译文。
2024-10-01 cs.CL
When Meaning Isn't Literal: Exploring Idiomatic Meaning Across Languages and Modalities
Indian Institute of Technology Patna(印度理工学院巴特那分校);King Mongkut's Institute of Technology Ladkrabang(国王科技大学拉卡邦分校)
本文提出Mediom多语言多模态隐喻语料库及HIDE框架,通过系统性测试揭示语言模型在隐喻理解上的缺陷,并为下一代AI系统提供文化根基的隐喻理解方法。
2026-04-12 cs.CL
Good, but not always Fair: An Evaluation of Gender Bias for three commercial Machine Translation Systems
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文评估Google Translate、DeepL和Modern MT三种商业机器翻译系统在英西、英意、英法语言对中的性别翻译表现,揭示各系统存在不同程度的性别偏见。
2024-03-26 cs.CL
Ethical Considerations for Machine Translation of Indigenous Languages: Giving a Voice to the Speakers
AWS AI Labs(AWS人工智能实验室);Universidad Nacional Autónoma de México(墨西哥国立自治大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Stuttgart(斯图加特大学)
本文针对土著语言机器翻译中的伦理问题,先梳理相关文献,再通过访谈社区领袖、教师和语言活动人士,论证纳入母语者与社区成员对开展更优质且更具伦理性的土著语言研究至关重要。
2023-05-31 cs.CL
Beyond Error Propagation in Neural Machine Translation: Characteristics of Language Also Matter
Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);Peking University(北京大学)
神经机器翻译通常采用自回归模型,并遭受曝光偏差以及随之而来的错误传播问题。许多先前的工作已经讨论了误差传播和\emph{accuracy drop}之间的关系(即,在从左到右解码模型中,翻译句子的左部分通常比其右部分好)问题。在本文中,我们进行了一系列的分析,以深入了解这个问题,并得到了一些有趣的发现。(1)误差传播对精度下降的作用在文献中被夸大了,尽管它确实有助于精度下降问题。(2)语言的特征在导致准确性下降方面起着更重要的作用:翻译的左部分导致右分支语言(例如,英语)更可能比其右部分更准确,而右部分对于左分支语言(例如,日语)。我们的发现在不同的模型结构上得到了证实,包括Transformer和RNN,以及其他序列生成任务,如文本摘要。
2018-09-11 cs.CL
Extending Challenge Sets to Uncover Gender Bias in Machine Translation: Impact of Stereotypical Verbs and Adjectives
人类的性别偏见反映在语言和文本的产生中。由于最先进的机器翻译(MT)系统是在大型文本语料库(主要由人类生成)上训练的,因此在MT中也可以发现性别偏见。例如,当职业从英语这样的语言(主要使用性别中性词)翻译成德语这样的语言(主要使用女性和男性职业版本)时,必须由机器翻译系统做出决定。最近的研究表明,机器翻译系统偏向于刻板的职业翻译。2019年,第一个也是迄今为止唯一一个明确旨在衡量MT系统中性别偏见程度的挑战集已经发布。在这一套中,性别偏见的衡量完全基于职业的翻译。在本文中,我们提出了这个挑战集的扩展,称为WiBeMT,带有性别偏见的形容词,并添加了带有性别偏见的动词的句子。最终的挑战集由超过70,000个句子组成,并已被三个商业机器翻译系统翻译:DeepL翻译,微软翻译和谷歌翻译。结果表明,所有三个MT系统的性别偏见。这种性别偏见在很大程度上受形容词的影响,在较小程度上受动词的影响。
2021-07-24 cs.CL
Translate your gibberish: black-box adversarial attack on machine translation systems
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Institute of Numerical Mathematics, Russian Academy of Sciences(俄罗斯科学院数值数学研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Sber AI Lab(俄联邦储蓄银行人工智能实验室);AIRI
本文提出一种基于张量的无梯度黑盒优化方法,通过对抗性输入欺骗Google、DeepL和Yandex等机器翻译工具,揭示其产生错误翻译或拒绝翻译的漏洞。
2023-05-23 cs.AI cs.CL
Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation
Xiamen University(厦门大学);Alibaba DAMO Academy(阿里巴巴达摩院);Soochow University(苏州大学)
本文针对kNN-MT中上下游领域差距导致检索精度下降的问题,提出通过训练修订器重建数据存储中的键表示,并设计语义距离损失和L2范数损失进行优化,实验证明该方法能有效提升领域适应场景下的检索与翻译质量。
2023-05-26 cs.CL
Investigating Markers and Drivers of Gender Bias in Machine Translations
Edinburgh Napier University(爱丁堡龙比亚大学);School of Computing, Engineering, and Built Environment(计算、工程与建筑环境学院)
本文通过DeepL回译56项软件工程任务,比较五种无性别中间语言并提出新的性别变化度量指标,识别主要动词为偏见驱动因素,验证了回译方法用于分析语言模型性别偏见的有效性与可重复性。
2024-04-02 cs.CL cs.CY cs.SE
An Encoder-Decoder Framework Translating Natural Language to Database Queries
Faculty of Computer, Guangdong University of Technology, China(广东工业大学计算机学院);Singapore R&D, Yitu Technology Ltd.(商汤科技有限公司新加坡研发中心)
在使用卷积神经网络(CNN)和递归神经网络(RNN)的深度学习技术的爆炸性发展的推动下,机器翻译正在经历一场彻底的革命。在本文中,我们考虑了机器翻译问题中的一个特殊情况,目标是将自然语言转换为结构化查询语言(SQL),用于关系数据库上的数据检索。虽然通用的CNN和RNN在训练足够的样本时学习SQL的语法结构,但当翻译模型与SQL的语法规则深度集成时,模型的准确性和训练效率可以显着提高。我们提出了一个新的编码器-解码器框架,与一套新的方法,包括新的语义特征送入编码器,语法感知状态注入到解码器的内存,以及递归状态管理子查询。这些技术有助于神经网络更好地专注于理解自然语言中的操作语义,节省了SQL语法学习的精力。对真实世界数据库和查询的实证评估表明,我们的方法优于国家的最先进的解决方案的显着保证金。
2018-06-09 cs.CL
ChrEn: Cherokee-English Machine Translation for Endangered Language Revitalization
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
切罗基语是切罗基人使用的一种高度濒危的美洲土著语言。切罗基文化深深地嵌入其语言中。然而,世界上大约只有2,000名流利的第一语言切罗基人,而且这个数字每年都在下降。为了拯救这一濒危语言,我们引入了Cherokee-English并行数据集ChrEn,以促进Cherokee和English之间的机器翻译研究。与一些流行的机器翻译语言对相比,ChrEn的资源非常少,总共只包含14 k个句子对。我们以便于域内和域外评估的方式拆分并行数据。我们还收集了5 k Cherokee单语数据,以实现半监督学习。除了这些数据集,我们提出了几个切罗基语-英语和英语-切罗基语机器翻译系统。我们比较了SMT(基于短语)与NMT(基于RNN和基于Transformer)系统;监督与半监督(通过语言模型,反向翻译和BERT/多语言BERT)方法;以及迁移学习与其他4种语言的多语言联合训练。我们最好的结果是15.8/12.7 BLEU的域内和6.5/5.0 BLEU的域外Chr-En/EnChr翻译,分别,我们希望我们的数据集和系统将鼓励社区未来的工作,为切罗基语的复兴。我们的数据、代码和演示将在https://github.com/ZhangShiyue/ChrEn上公开提供
2020-10-09 cs.AI cs.CL
Gender Bias in MT for a Genderless Language: New Benchmarks for Basque
本文通过引入两个新数据集,研究巴斯克语翻译中的性别偏见问题,发现模型存在系统性偏好阳性形式的现象。
2026-03-09 cs.CL
Dynamic Context-guided Capsule Network for Multimodal Machine Translation
Xiamen University(厦门大学);Tencent WeChat AI(腾讯微信AI);University of Rochester(罗切斯特大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
多模态机器翻译(MMT)主要致力于增强具有视觉特征的纯文本翻译,引起了计算机视觉和自然语言处理界的广泛关注。当前的MMT模型大多采用注意力机制、全局上下文建模或多模态联合表示学习来利用视觉特征。然而,注意力机制缺乏足够的语义模态之间的相互作用,而其他两个提供固定的视觉上下文,这是不适合的建模时,产生翻译观察到的变化。为了解决上述问题,在本文中,我们提出了一种新的动态上下文引导胶囊网络(DCCN)的MMT。具体地说,在解码的每个时间步,我们首先采用传统的源-目标注意力来产生特定于时间步的源侧上下文向量。接下来,DCCN将此向量作为输入,并使用它通过上下文引导的动态路由机制来引导相关视觉特征的迭代提取。特别是,我们用全局和区域视觉特征来表示输入图像,我们引入两个并行的DCCN来对具有不同粒度视觉特征的多模态上下文向量进行建模。最后,我们得到两个多模态上下文向量,将其融合并纳入解码器中用于预测目标词。在Multi 30 K英德英法翻译数据集上的实验结果表明了DCCN的优越性。我们的代码可以在https://github.com/DeepLearnXMU/MM-DCCN上找到。
2020-09-04 cs.CL cs.MM
Diagnosing Translated Benchmarks: An Automated Quality Assurance Study of the EU20 Benchmark Suite
本文通过自动化方法研究EU20基准套件的翻译质量,发现低COMET分数的数据包含更多准确性错误,释放了清理后的数据集和可复现代码。
2026-04-02 cs.CL cs.IR
SinFoS: A Parallel Dataset for Translating Sinhala Figures of Speech
Research Department, Informatics Institute of Technology(信息科技研究所研究部);Informatics Institute of Technology(信息科技研究所);Department of Computer Science & Engineering(计算机科学与工程系)
SinFoS数据集通过提供僧加罗语修辞表达的并行文本,评估LLMs在低资源语言和文化敏感翻译中的表现,揭示了现有模型的不足。
2026-02-09 cs.CL
An alternative formulation of attention pooling function in translation
Universitat de Barcelona(巴塞罗那大学)
本文提出一种翻译任务中注意力池化函数的替代公式,通过将注意力评分矩阵投影到带状矩阵与稀疏误差矩阵构成的紧子空间,并实验验证其逼近效果及参数影响。
2024-08-23 cs.CL math.OC
Self-move and Other-move: Quantum Categorical Foundations of Japanese
Capitol Technical University(国会技术大学)
这项工作的目的是为创建量子自然语言处理(QNLP)翻译程序的更大目标做出贡献。这项工作有助于原来的图形表示的日语的基础上,以前的工作,完成了对英语的基础上范畴理论。强调英语和日语之间的密切联系的差异,以帮助解决英语语言偏见在目前的研究机构。此外,这些图的拓扑原理和许多潜在的途径,进一步的研究提出。为什么这一努力很重要?数百种语言在数千年的时间里发展起来,与人类在时间和地理位置上的互动演变相吻合。这些语言是人类生存、体验、繁荣和过上美好生活的基础。然而,它们也是人群之间最强大的障碍。在过去的几十年里,自然语言处理(NLP)的进步使得弥合不同语言或文化的个体之间的差距变得更加容易。像Google翻译和DeepL这样的工具使我们比以往任何时候都更容易与全球各地的人们分享我们的经验。尽管如此,这些工具仍然不够,因为它们无法跨越语言障碍流利地传达我们的想法,让人们感到焦虑和尴尬。对于那些产生于不同文化的语言来说,尤其如此,比如英语和日语。量子计算机提供了实现翻译流畅性的最佳机会,因为它们更适合模拟自然世界和自然现象,如自然语音。保留字:范畴理论,DisCoCat,DisCoCirc,日语语法,英语语法,翻译,拓扑,量子自然语言处理,自然语言处理
2022-10-10 cs.CL
AI Technologies in Language Access: Attitudes Towards AI and the Human Value of Language Access Managers
Rutgers University/ Dept. of Spanish(罗格斯大学西班牙语系);Rutgers University/ Dept. of Spanish and and Portuguese(罗格斯大学西班牙语和葡萄牙语系)
本文探讨了人工智能在语言接入中的影响,通过分析十位美国语言接入管理者在医疗、法庭、公共服务和地方政府领域的半结构化访谈,揭示了语言接入管理者对人工智能的有条件乐观态度以及对人工智能实施中人类价值和人类监督的高度重视。
2026-05-19 cs.AI cs.CL