Assessing Human Translations from French to Bambara for Machine Learning: a Pilot Study
Centre National Collaboratif de l’Education en Robotique et en Intelligence Artificielle (RobotsMali)(国家机器人与人工智能教育合作中心(RobotsMali));Rochester Institute of Technology(罗切斯特理工学院);Orange Silicon Valley(Orange硅谷)
我们提出了新的方法来评估人类翻译对齐文本的质量,以学习资源不足的语言的机器翻译模型。马里大学生翻译法文文本,对班巴拉语进行书面或口头翻译。我们的研究结果表明,类似的质量可以从书面或口头翻译某些类型的文本。他们还提出了具体的指示,应给予翻译人员,以提高他们的工作质量。
2020-03-31 cs.CL
How Grammatical is Character-level Neural Machine Translation? Assessing MT Quality with Contrastive Translation Pairs
University of Edinburgh(爱丁堡大学)
从历史上看,分析特定语言现象的翻译质量是困难和耗时的。神经机器翻译具有吸引人的特性,它可以为任意翻译产生分数,我们提出了一种新的方法来评估NMT系统对特定语言现象的建模效果,例如长距离协议,新单词的产生以及极性的忠实翻译。其核心思想是,我们衡量是否参考翻译更可能在NMT模型下比对比翻译,介绍了一种特定类型的错误。我们提出了LingEval 97,一个基于WMT英语->德语翻译任务的97000个对比翻译对的大规模数据集,使用简单的规则自动创建错误。我们报告了一些系统的结果,发现最近推出的字符级NMT系统在音译方面比字节对编码(BPE)分割的模型表现更好,但在形态句法协议和翻译不连续的意义单位方面表现更差。
2017-02-13 cs.CL
Assessing the Quality of MT Systems for Hindi to English Translation
Banasthali University(巴纳斯塔利大学);CDAC(电子发展公司)
评价在检查机器翻译输出质量方面起着至关重要的作用。它可以手动或自动完成。手动评估非常耗时且主观,因此大多数情况下使用自动度量。本文使用BLEU、METEOR等自动化指标对不同机器翻译引擎的印地语-英语(印地语数据作为输入,英语作为输出)翻译质量进行了评估,并将自动化评估结果与人工排名进行了比较。
2014-04-15 cs.CL
Assessing the Tolerance of Neural Machine Translation Systems Against Speech Recognition Errors
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Interactions, LLC(Interactions有限责任公司)
机器翻译系统传统上是在不对口语中发生的现象进行建模的文本资源上训练的。虽然在文献中积极研究了神经机器翻译系统对文本输入的评估,但很少发现使用神经模型翻译口语数据的复杂性。我们介绍和激励有趣的问题时,考虑到神经机器翻译(NMT)系统的自动语音识别(ASR)输出的翻译。我们测试了NMT编码器-解码器建模的句子编码方法的鲁棒性,重点是基于单词的字节对编码。我们将最先进的NMT编码器-解码器系统中包含ASR错误的话语的翻译与基于短语的机器翻译基线进行比较,以便更好地理解ASR输出中存在的哪些现象在NMT框架下比将翻译表示为线性模型的方法更好地表示。
2019-04-24 cs.CL
Context-Aware or Context-Insensitive? Assessing LLMs' Performance in Document-Level Translation
University of Amsterdam(阿姆斯特丹大学)
本研究针对文档级翻译中需句外上下文的词汇翻译问题,通过扰动和归因分析评估9个不同家族LLMs及2个基线模型的上下文利用能力,发现其文档翻译性能提升未体现在代词翻译上,强调需针对性微调以提升可靠性。
2025-02-14 cs.CL
Assessing Reference-Free Peer Evaluation for Machine Translation
University of Maryland(马里兰大学);Google Research(谷歌研究院)
无参考评估有可能使机器翻译评估更具可扩展性,使我们能够轻松转向新的语言或领域。最近已经表明,由大型多语言模型给出的概率在用作无参考度量时可以实现最先进的结果。我们对这个模型进行了各种修改,并证明通过扩展它,我们可以匹配BLEU的性能。我们分析了各种潜在的弱点的方法,并发现它是令人惊讶的强大,并可能提供合理的性能在广泛的领域和不同的系统质量。
2021-04-12 cs.CL
Assessing Crosslingual Discourse Relations in Machine Translation
The University of Sheffield(谢菲尔德大学)
为了提高整体翻译质量,人们越来越关注将更多的语言元素集成到机器翻译(MT)中。虽然已经取得了重大进展,特别是最近的神经模型,自动评估这样的系统的输出仍然是一个悬而未决的问题。目前的机器翻译评估实践依赖于单一的参考翻译,尽管有许多方法可以翻译特定的文本,并且它往往忽视更高层次的信息,如语篇。我们提出了一种新的方法,评估翻译输出的基础上的源文本,而不是参考翻译,并衡量在何种程度上保留的源文本中的话语元素(话语关系,特别是)的语义在MT输出。挑战在于检测源文本中的话语关系,并确定这些关系是否正确地跨语言转移到目标语言-没有参考翻译。这种方法可以独立地用于语篇层面的评价,或者作为其他指标的一个组成部分,在大量MT在线的时候,将受益于以源文本为基准的评价。
2018-10-07 cs.CL
Prompting PaLM for Translation: Assessing Strategies and Performance
Google(谷歌)
本研究深入评估了PaLM在机器翻译中的能力,发现优化提示中的示例质量是提升few-shot翻译性能的关键,尽管其表现优异但仍不及最先进的监督翻译系统。
2023-06-25 cs.CL
BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text
University of Wolverhampton(伍尔弗汉普顿大学);University of Surrey(萨里大学)
社交媒体公司和当局广泛使用人工智能(AI)工具来监控仇恨言论,庆祝暴力或亵渎的帖子。由于人工智能软件需要大量数据来训练计算机,因此在线内容的机器翻译(MT)通常用于处理用多种语言编写的帖子,从而增加训练所需的数据。然而,在翻译情感导向的用户生成内容(UGC)时,机器翻译错误是经常发生的,特别是当涉及低资源语言时。整个过程的充分性取决于这样一个假设,即所使用的评价标准能够可靠地表明翻译的质量。在本文中,我们评估的能力,自动质量指标检测关键的机器翻译错误,可能会导致严重的误解的影响消息。我们比较了三个规范的性能指标无意义的翻译,语义内容严重受损相比,有意义的翻译与要害差错,专门扭曲的感情的源文本。我们的结论是,有必要微调的自动指标,使他们更强大的检测情感要害差错。
2021-09-29 cs.CL
Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
本研究设计了五种无需内部信号的口头化方法提取LLM逐词置信度,并与内部确定性信号比较,发现两者在细粒度错误检测和校准上表现相似但相关性低。
2026-06-17 cs.CL
Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation
Computation for Indian Language Technology (CFILT) Department of Computer Science and Engineering(印度语言技术计算(CFILT)部门计算机科学与工程系);Indian Institute of Technology Bombay(印度班加罗尔理工学院)
本研究通过英语到马拉雅尔语的翻译任务,评估并改进NMT系统在处理标点歧义时的鲁棒性,提出两种修复策略并发现任务特定方法优于大型语言模型。
2026-02-13 cs.CL
Assessing the Impact of Typological Features on Multilingual Machine Translation in the Age of Large Language Models
Data & Knowledge Engineering, Heinrich Heine University(海因里希·海因大学数据与知识工程系);Center for Language and Cognition (CLCG), University of Groningen(格罗宁根大学语言与认知中心)
本文研究了语言类型特征对多语言机器翻译质量的影响,通过分析两种先进模型发现目标语言类型显著影响翻译效果,并提出了细粒度的语言类型属性以促进进一步研究。
2026-02-03 cs.CL
Whose wife is it anyway? Assessing bias against same-gender relationships in machine translation
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Michigan(密歇根大学)
该研究针对机器翻译系统是否存在对同性关系的偏见问题,利用多种名词性别语言的职业名词模板句测试三款主流服务,发现其同性关系句翻译准确率低且受语境、职业女性占比影响,为NLP系统社会关系内在偏见评估提供案例。
2024-07-12 cs.CL
"Be My Cheese?": Assessing Cultural Nuance in Multilingual LLM Translations
Appen(澳鹏)
本研究评估多语言大模型翻译习语和双关语时的文化适当性,发现即使高资源语言也常误译,提出文化适当性为关键性能指标,并强调人工润色必要性。
2025-09-25 cs.CL
Temporal Dynamics of Emotion and Cognition in Human Translation: Integrating the Task Segment Framework and the HOF Taxonomy
Kent State University(肯特州立大学)
本文基于翻译过程数据提出人类翻译思维生成模型,揭示自动化、认知与情感三层处理在行为中的痕迹,并整合双过程与意识形态理论,为认知翻译研究开辟新视野。
2025-05-23 cs.CL
Assessing Evaluation Metrics for Speech-to-Speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学);ETH Zürich(苏黎世联邦理工学院)
语音到语音翻译将机器翻译与语音合成相结合,引入了单独任务中不存在的评估挑战。如何自动评估语音到语音翻译是一个开放的问题,以前没有被探索。翻译成语音而不是文本通常是由不成文的语言或没有标准化拼写的语言所驱动的。然而,我们表明,以前使用的自动度量这项任务是最好的标准化的高资源语言。在这项工作中,我们首先评估语音到语音翻译的当前指标,其次评估翻译到方言变体而不是标准化语言如何影响各种评估方法。
2021-10-26 cs.CL cs.SD eess.AS
A Set of Recommendations for Assessing Human-Machine Parity in Language Translation
University of Zurich(苏黎世大学);ADAPT Centre, Dublin City University(都柏林城市大学ADAPT中心);Carnegie Mellon University(卡内基梅隆大学);University of Groningen(格罗宁根大学)
在过去的几年里,机器翻译的质量显著提高,以至于在一些实证调查中发现它与专业的人工翻译无法区分。我们重新评估哈桑等人。2018年对汉英新闻翻译的调查显示,人机对等的发现是由于评估设计的弱点-目前被认为是该领域的最佳实践。我们发现,专业的人工翻译包含显着更少的错误,并认为在人类评价的质量取决于评分员的选择,语言环境的可用性,并创建参考翻译。我们的研究结果要求重新审视当前的最佳实践,以评估强大的机器翻译系统,特别是人机对等,为此,我们根据我们的实证研究结果提供了一系列建议。
2020-04-03 cs.AI cs.CL
MTUncertainty: Assessing the Need for Post-editing of Machine Translation Outputs by Fine-tuning OpenAI LLMs
Logrus Global(洛格斯全球公司);The University of Manchester(曼彻斯特大学)
本研究将翻译质量评估转化为二分类任务,微调OpenAI的gpt3.5等模型,在8个语言对上验证了其判断译文是否需译后编辑的良好效果,同时发现单纯增大模型规模对该任务性能无明显提升。
2024-06-21 cs.AI cs.CL
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
机器翻译(MT)系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译(NMT)已经引领了机器翻译领域,但我们对它如何以及为什么工作的理解很差。在本文中,我们通过评估NMT模型与短语表(双语词典的可解释表)学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明,该短语表是合理的,对语言对和随机种子是一致的。我们发现,NMT模型配备了可解释的短语表,学习模式从简单到复杂,并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展(例如,翻译),并报告一些有趣的发现。我们相信,这项工作开辟了一个新的角度来解释NMT的统计模型,并提供了经验支持的最新进展,改进NMT模型。
2020-04-28 cs.CL cs.LG
Image Classification for Arabic: Assessing the Accuracy of Direct English to Arabic Translations
Prince Sattam Bin Abdulaziz University(萨塔姆·本·阿卜杜勒阿齐兹大学)
图像分类是一个正在进行的研究挑战。大多数现有的研究集中在英语语言的图像分类,但很少有阿拉伯语的图像分类的研究。将图像分类扩展到阿拉伯语有几个应用。本研究探讨了一种方法,用于生成阿拉伯语标签的对象的图像。本研究中使用的方法涉及将ImageNet上当前可用的标签直接从英语翻译为阿拉伯语,ImageNet是一种常用于图像分类研究的数据库。本研究的目的是测试该方法的准确性。在这项研究中,从ImageNet中随机选择了2,887张标记的图像。所有标签都是使用谷歌翻译从英语翻译成阿拉伯语的。对翻译的准确性进行了评价。结果表明,65.6%的阿拉伯语标签是准确的。这项研究对图像分类文献做出了三个重要贡献:(1)它确定了为图像提供阿拉伯语标签的算法的基线准确度水平,(2)它提供了1,895张带有准确阿拉伯语标签的图像,(3)提供了从英语到阿拉伯语的图像标签翻译的准确性。
2019-07-07 cs.CL cs.CV
Assessing the Political Fairness of Multilingual LLMs: A Case Study based on a 21-way Multiparallel EuroParl Dataset
本研究通过21种语言的EuroParl数据集评估多语言大语言模型的政治公平性,发现多数政党翻译质量优于边缘政党。
2026-03-11 cs.CL
Phonology-Guided Speech-to-Speech Translation for African Languages
提出利用跨语言停顿同步的无转录 S2ST 框架,通过 SPaDA 对齐和 SegUniDiff 扩散模型提升翻译与说话人保持效果,并发布无转录 BLEU 评测套件。
2025-06-11 cs.AI cs.CL eess.AS
ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
ShanghaiTech University(上海科技大学);DGene;University of Derby(德比大学)
ReSCUE提出统一框架,通过推理感知训练、稳定重翻译和句子承诺机制,实现未分段长形式手语视频的同步翻译,在低延迟下接近离线系统质量。
2026-10-05 cs.CL cs.CV
Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
最近的研究表明,神经机器翻译在WMT中文-英文新闻翻译任务上与专业人工翻译实现了平等。我们经验性地测试这种说法与替代的评估协议,对比单个句子和整个文件的评估。在成对排名实验中,评估充分性和流畅性的人类评分员在评估文档时,与孤立的句子相比,对人类的偏好更强,而不是机器翻译。我们的研究结果强调,有必要转向文件级的评估,因为机器翻译提高到一定程度,在翻译水平上很难或不可能发现的错误成为区分不同翻译输出质量的决定性因素。
2018-08-21 cs.CL
Science Across Languages: Assessing LLM Multilingual Translation of Scientific Papers
Department of Electrical Engineering, Stanford University(电气工程系,斯坦福大学)
本研究针对英文期刊给非英语母语研究者造成的障碍,提出保留JATS XML格式的LLM科学论文多语言翻译方法,通过新型QA基准和用户研究验证了高准确性,并展示了用上下文学习缓解过度翻译的可行性。
2025-09-04 cs.AI cs.CL
Beyond Reproduction: A Paired-Task Framework for Assessing LLM Comprehension and Creativity in Literary Translation
Natural Language Learning Group (NLLG) School of Business Informatics and Mathematics University of Mannheim(曼海姆大学自然语言学习组(NLLG)商学院信息与数学学院);University of Technology Nuremberg (UTN), Department Engineering(纽伦堡技术大学(UTN)工程系);University of Gent, Department of Translation, Interpreting and Communication(根特大学翻译、口译与传播系);University of Aberdeen, Department of Computing Science(阿伯丁大学计算科学系);Natural Language Learning and Generation (NLLG) Lab(自然语言学习与生成(NLLG)实验室)
本文提出一种配对任务框架,评估LLM在文学翻译中的理解与创造力。通过11本书的文学片段,评估模型的文本理解与翻译创造力,发现强理解不等于人类水平的创造力,仅Mistral-Large接近人类水平。
2026-04-20 cs.AI cs.CL
Context-Aware Monolingual Human Evaluation of Machine Translation
eBay(易贝);Dublin City University(都柏林城市大学)
本文研究在无源文本条件下用上下文感知单语人工评估评价机器翻译,通过专业译员在单一系统和成对系统两种场景中与双语评估对比,证明其效果相当且高效可行。
2025-04-10 cs.CL cs.HC
Assessing the Ability of Self-Attention Networks to Learn Word Order
University of Macau(澳门大学);Tencent AI Lab(腾讯人工智能实验室)
自注意力网络(SAN)由于其高度并行化和在各种NLP任务(例如机器翻译)上的强大性能而引起了很多兴趣。由于缺乏递归神经网络(RNN)等递归结构,SAN在学习单词的位置信息以进行序列建模方面很弱。然而,这一推测既没有得到实证证实,也没有解释他们的强大性能时,“缺乏位置信息”的机器翻译任务进行了探索。为此,我们提出了一种新的单词重排检测任务,以量化SAN和RNN学习的单词顺序信息。具体来说,我们随机地将一个单词移动到另一个位置,并检查经过训练的模型是否可以检测到原始位置和插入位置。实验结果表明:1)在单词重排检测上训练的SAN确实很难学习位置信息,即使是位置嵌入; 2)在机器翻译上训练的SAN比RNN对手学习更好的位置信息,其中位置嵌入起着关键作用。虽然递归结构使模型在学习词序方面更普遍有效,但学习目标在下游任务(如机器翻译)中更重要。
2019-06-03 cs.AI cs.CL
Assessing Translation capabilities of Large Language Models involving English and Indian Languages
LTRC, IIIT Hyderabad(海得拉巴国际信息技术学院语言技术研究中心)
本研究评估了大语言模型在英语与22种印度语言间的翻译能力,通过微调LLaMA-13b在多个测试集上取得显著BLEU和CHRF分数,证明了其机器翻译潜力。
2023-11-15 cs.AI cs.CL
Can Transformers Jump Around Right in Natural Language? Assessing Performance Transfer from SCAN
Ecole Normale Superieure(巴黎高等师范学院);Facebook AI(脸书人工智能研究院);Pompeu Fabra(庞培法布拉大学)
尽管它们在实践中取得了成功,但现代seq2seq架构无法系统地概括几个SCAN任务。因此,尚不清楚SCAN风格的合成泛化在现实的NLP任务中是否有用。在这项工作中,我们研究的好处,这种组合带来的几个机器翻译任务。我们提出了几个有针对性的修改Transformer,大大提高了泛化能力的扫描,并选择一个仍然与香草Transformer在一个标准的机器翻译(MT)任务。接下来,我们研究其性能在低资源环境和新引入的分布转移英法翻译任务。总的来说,我们发现,改进的扫描能力的模型不直接转移到资源丰富的MT设置。相比之下,在低资源设置中,一般修改导致高达13.1%的BLEU分数w.r.t.一个普通的Transformer。同样,在引入的组合英法翻译任务中,基于准确性的度量提高了14%。这提供了实验证据表明,在SCAN中评估的合成概括在资源匮乏和域转移的情况下特别有用。
2021-09-16 cs.AI cs.CL cs.LG
Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate
Federal University of Rio Grande do Sul(南里奥格兰德州联邦大学)
最近,人们越来越关注机器偏见,其中训练的统计模型增长以反映有争议的社会不对称性,例如性别或种族偏见。最近有大量的人工智能工具被认为对某些少数民族有有害的偏见,有报道称种族主义犯罪行为预测器,iPhone X无法区分两个亚洲人,谷歌照片错误地将黑人分类为大猩猩。尽管对这种偏见进行系统的研究可能很困难,但我们相信,可以通过性别中立的语言来利用自动翻译工具,从而为人工智能中的性别偏见现象提供一个窗口。在本文中,我们从美国劳工统计局(BLS)的一份全面的工作职位列表开始,并用它来构建12种不同性别中性语言(如匈牙利语,汉语,约鲁巴语等)中的句子,如“他/她是一名工程师”。我们使用Google Translate API将这些句子翻译成英语,并收集有关翻译输出中女性,男性和性别中性代词频率的统计数据。我们发现,GT表现出强烈的男性默认倾向,特别是在与性别分布不平衡有关的领域,如STEM工作。我们将这些统计数据与劳工统计局关于女性参与每个工作岗位的频率的数据进行了比较,结果表明GT未能再现女性工人的真实分布。我们提供的实验证据表明,即使人们不期望在原则上50:50代词性别分布,GT产生男性默认更频繁地比预期的人口数据。我们希望这项工作将引发一场辩论,即需要用科学文献中已经存在的去偏置技术来增强当前的统计翻译工具。
2019-03-11 cs.CL cs.CY
Beyond the Cloud: Assessing the Benefits and Drawbacks of Local LLM Deployment for Translators
University of Innsbruck(因斯布鲁克大学)
本文针对云端商用AI翻译工具的隐私安全等问题,评估了三款CPU平台本地部署的开源大语言模型的功能性能,指出其虽有挑战但在数据控制、隐私等方面优势显著,为AI翻译技术民主化及相关研发提供参考。
2025-07-31 cs.CL cs.CY
Assessing the Latent Automated Program Repair Capabilities of Large Language Models using Round-Trip Translation
Simula Research Laboratory(Simula研究实验室)
本研究探索利用往返翻译(RTT)通过大语言模型进行自动化程序修复,发现该方法能生成合理补丁,并可作为APR框架的补充组件。
2025-10-15 cs.CL cs.LG cs.SE
Syntactic Transfer to Kyrgyz Using the Treebank Translation Method
Steklov Mathematical Institute at St. Petersburg(圣彼得堡斯捷克洛夫数学研究所);St. Petersburg University(圣彼得堡大学);Kazan (Volga Region) Federal University(喀山(伏尔加地区)联邦大学);Kyrgyz State Technical University n. a. I. Razzakov(吉尔吉斯斯坦I.拉扎科夫国立技术大学);ITMO University(ITMO大学)
针对吉尔吉斯语低资源句法语料构建难题,提出基于树库翻译的句法迁移工具,从土耳其语迁移标注,在TueCL上优于单语模型,并引入人工标注复杂度评估方法。
2024-12-17 cs.CL
A Bayesian approach to translators' reliability assessment
Sapienza University of Rome(罗马第一大学);Istituto dei Sistemi Complessi - CNR(意大利国家研究委员会复杂系统研究所);University of California, Berkeley(加州大学伯克利分校);Translated(Translated公司);Joint Research Centre(联合研究中心);Centro Ricerche Enrico Fermi(恩里科·费米研究中心);Translated SRL(Translated SRL公司)
翻译质量评估(TQA)是由人工翻译人员进行的一个过程,被广泛用于评估(越来越多地使用)机器翻译的性能,以及寻找翻译提供商与其客户之间的协议。虽然翻译学者们都意识到有一个可靠的方法来进行TQA过程的重要性,但似乎有有限的文献,以定量的方法来处理可靠性问题。在这项工作中,我们认为TQA作为一个复杂的过程,从物理的角度来看,复杂系统和方法的可靠性问题,从贝叶斯范式。使用完全由专业翻译服务提供商Translated SRL制作的翻译质量评估数据集(以错误注释的形式),我们比较了两个贝叶斯模型,这些模型参数化了TQA过程中涉及的以下特征:翻译难度,参与制作翻译的译员的特征,以及评估其质量的人-审稿人。我们在无监督的环境中验证了模型,并表明即使每个翻译只有一个评论,也可以对翻译人员进行有意义的见解;随后,我们提取了翻译人员的技能和评论员的严格程度等信息,以及他们在各自角色中的一致性。使用这一点,我们表明,即使在专家翻译的情况下,审稿人的可靠性不能被视为理所当然:一个翻译的专业知识可以引起认知偏见时,审查由另一个翻译。然而,最专业的翻译人员的特点是在翻译和评估翻译质量方面具有最高水平的一致性。
2022-04-12 cs.CL physics.soc-ph
Evaluating Machine Translation Quality with Conformal Predictive Distributions
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Centrica plc(森特理克集团)
本文提出基于保形预测分布的机器翻译质量评估方法,可生成具有覆盖率保证的预测区间,并在六类语言对上验证其覆盖率与锐度优势及可交换性假设。
2023-06-02 cs.CL stat.ML
Convergences and Divergences between Automatic Assessment and Human Evaluation: Insights from Comparing ChatGPT-Generated Translation and Neural Machine Translation
School of Foreign Languages, Shanghai Jiao Tong University(上海交通大学外国语学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Institute of Corpus Studies and Applications, Shanghai International Studies University(上海外国语大学语料库研究与应用研究所)
本研究比较了ChatGPT与NMT系统的翻译质量,发现自动评估与人工评估在形式保真度上一致,但在语义和语用保真度上存在分歧,突显了人工判断的不可或缺性。
2024-10-12 cs.AI cs.CL
Neural machine translation for automated feedback on children's early-stage writing
Technical University of Denmark(丹麦技术大学)
本研究提出用序列到序列模型将儿童早期写作自动翻译为常规文本,并引入稳健似然以应对噪声,实验证明该方法能高精度预测常规文本,实现自动反馈。
2023-11-15 cs.CL cs.LG
Towards Red Teaming in Multimodal and Multilingual Translation
FAIR, Meta(Meta AI 基础人工智能研究中心)
针对自然语言处理评估数据集易与训练数据重叠导致性能高估的问题,本文首次开展机器翻译领域的人工红队测试研究,探索人工与自动化红队测试方案,总结经验并提出建议,为该领域研究开辟新方向。
2024-01-29 cs.CL cs.CY