Machine Translation Models are Zero-Shot Detectors of Translation Direction
Department of Computational Linguistics, University of Zurich（计算语言学系，苏黎世大学）
本研究提出一种基于翻译简化效应的无监督翻译方向检测方法，利用多语言机器翻译模型验证了其在高资源语言对上的有效性，对机器翻译和人工翻译均取得较高准确率。
2025-05-28 cs.CL
Enhanced Hallucination Detection in Neural Machine Translation through Simple Detector Aggregation
CentraleSupélec（中央高等电力学院）；Universite Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；digeiz；Equall；Instituto de Telecomunicações（电信研究所）；University of Lisbon（里斯本大学）；Unbabel
本文针对神经机器翻译中的幻觉检测问题，提出一种简单的多检测器聚合方法，以利用不同检测器的互补优势，实验证明该方法有效提升了检测性能。
2024-02-20 cs.CL
Detecting dementia in Mandarin Chinese using transfer learning from a parallel corpus
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Academia Sinica（中央研究院）；Toronto Rehabilitation Institute（多伦多康复研究所）
机器学习已经显示出通过语音自动检测阿尔茨海默病（AD）的前景;然而，数据的稀缺阻碍了这一努力，特别是英语以外的语言。我们提出了一种方法来学习两种语言中独立设计的词汇句法特征之间的对应关系，使用大型并行语料库的域外电影对话数据。我们将其应用于普通话中的痴呆检测，并证明我们的方法优于单语和基于机器翻译的基线。这似乎是第一项在检测认知能力下降时转移特征域的研究。
2019-06-01 cs.CL
Perturbation-based QE: An Explainable, Unsupervised Word-level Quality Estimation Method for Blackbox Machine Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对有监督QE依赖标注且无监督方法常需白盒访问或并行数据的问题，提出基于扰动输入的无监督词级QE，可解释并适用于黑盒MT与LLM。
2023-07-13 cs.CL
UniTE: Unified Translation Evaluation
Alibaba Group（阿里巴巴集团）；University of Macau（澳门大学）
翻译质量评价在机器翻译中起着至关重要的作用。根据输入格式，主要分为三个任务，即，仅引用、仅源代码和源代码引用组合。最近的方法，尽管他们有希望的结果，是专门设计和优化其中之一。这限制了这些方法的便利性，并忽略了任务之间的共性。在本文中，我们提出了联合，这是第一个统一的框架从事能力，以处理所有三个评估任务。具体来说，我们提出了单调区域注意来控制输入片段之间的相互作用，并提出了统一的预训练来更好地适应多任务学习。我们在WMT 2019和WMT 2020质量评估基准上验证了我们的框架。广泛的分析表明，我们的\textit{single model}可以普遍超过各种国家的最先进的或赢家的方法跨任务。源代码和相关模型都可以在https://github.com/NLP2CT/UniTE上找到。
2022-04-28 cs.CL
Detecting Cross-Language Plagiarism using Open Knowledge Graphs
University of Wuppertal（伍珀塔尔大学）；University of Konstanz（康斯坦茨大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）
识别跨语言剽窃是一项挑战，特别是对于遥远的语言对和意义对意义的翻译。我们为此任务引入了新的多语言检索模型基于跨语言本体的相似性分析（CL-OSA）。CL-OSA将文档表示为从开放的知识图谱Wikidata获得的实体向量。与其他方法相反，CL-OSA不需要计算昂贵的机器翻译，也不需要使用可比或并行语料库进行预训练。它可靠地消除了同音异义词和规模，使其应用到Web规模的文档集。我们表明，CL-OSA优于国家的最先进的方法，从五个大的，主题不同的测试语料库，包括遥远的语言对，如日语-英语检索候选文件。为了在字符级别识别跨语言剽窃，CL-OSA主要改进了意对意翻译的检测。对于这些具有挑战性的情况下，CL-OSA的性能在完善的PlagDet评分方面超过了最好的竞争对手的两倍以上。我们研究的代码和数据是公开的。
2021-12-16 cs.CL cs.DL
Considerations for meaningful sign language machine translation based on glosses
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Bar-Ilan University（巴伊兰大学）
自动手语处理在自然语言处理（NLP）研究中越来越受欢迎（Yin等人，2021年）。特别是在机器翻译中，基于注释的手语翻译是一种突出的方法。在本文中，我们回顾了最近的工作，神经注释翻译。我们发现，一般的注释和特定数据集的限制的局限性没有以透明的方式进行讨论，也没有共同的评价标准。针对这些问题，我们对今后的注释翻译研究提出了具体的建议。我们的建议提倡认识到基于注释的方法、现实的数据集、更强的基线和令人信服的评价的固有局限性。
2022-11-28 cs.AI cs.CL
A Token-level Contrastive Framework for Sign Language Translation
Xiamen University（厦门大学）；Ministry of Culture and Tourism（文化和旅游部）
手语翻译是一项很有前途的技术，可以弥补聋人和听力正常人之间的沟通障碍。近年来，研究者采用神经机器翻译（NMT）方法来实现翻译，但NMT方法通常需要大规模的语料库进行训练。然而，公开可用的标记语料库非常有限，这导致标记表示的崩溃和生成的标记的不准确性。为了缓解这个问题，我们提出了CONSTRUCTION，一个新的令牌级\textbf{Con} transative学习框架\textbf{S} ign \textbf{L}语言\textbf{T} translation，学习有效的令牌表示，通过将令牌级对比学习到的解码过程。具体地说，Concrete在解码过程中将每一个token及其对应的dropout掩码作为正对，然后随机抽取词汇表中当前句子中没有的$K$ token构建反例。我们在两个基准测试（PHOENIX 14 T和CSL-Daily）上针对端到端和级联设置进行了全面的实验。实验结果表明，与强基线相比，Concrete可以获得更好的翻译质量。
2023-03-21 cs.CL
Document-level Neural Machine Translation with Associated Memory Network
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（日本国立情报学研究所）
标准神经机器翻译（NMT）假设文档级上下文是独立的。大多数现有的文档级NMT方法都满足于对全局文档级信息的一知半解，而这项工作的重点是利用详细的文档级上下文的内存网络。从记忆中检测当前句子的最相关部分的记忆网络的能力呈现了对丰富的文档级上下文进行建模的自然解决方案。在这项工作中，建议的文档感知内存网络实现，以提高Transformer NMT基线。多个任务的实验表明，该方法显着提高了NMT的性能在强Transformer基线和其他相关研究。
2021-08-24 cs.CL
Towards Robust k-Nearest-Neighbor Machine Translation
Xiamen University（厦门大学）；Tencent Inc（腾讯公司）；Dalian University of Technology（大连理工大学）；Pengcheng Laboratory（鹏城实验室）
最近邻机器翻译（kNN-MT）是近年来NMT的一个重要研究方向。它的主要思想是从一个额外的索引中检索有用的键值对来修改翻译，而不需要更新NMT模型。然而，底层检索到的噪声对将显著恶化模型性能。在本文中，我们进行了初步的研究，发现这一问题的结果没有充分利用NMT模型的预测。为了减轻噪声的影响，我们提出了一种具有鲁棒训练的置信度增强的kNN-MT模型。具体而言，我们引入NMT置信度来细化kNN-MT的两个重要组成部分的建模：kNN分布和插值权重。同时，我们注入两种类型的扰动到检索对鲁棒训练。在四个基准数据集上的实验结果表明，我们的模型不仅取得了显着的改进，目前kNN-MT模型，但也表现出更好的鲁棒性。我们的代码可在https://github.com/DeepLearnXMU/Robust-knn-mt上获得。
2022-10-17 cs.CL
Efficient Cluster-Based k-Nearest-Neighbor Machine Translation
Tianjin University（天津大学）
最近提出的k近邻机器翻译（kNN-MT）是神经机器翻译（NMT）领域自适应的一种非参数解决方案。它的目的是减轻先进的机器翻译系统在翻译领域外的句子的性能下降，通过协调与一个额外的令牌级的基于特征的检索模块构建从域内数据。以前的研究已经证明，非参数NMT甚至优于对域外数据进行微调的模型。尽管取得了这一成功，但kNN检索是以高延迟为代价的，特别是对于大型数据存储。为了使其实用，在本文中，我们探索了一个更有效的kNN-MT，并提出使用聚类来提高检索效率。具体地说，我们首先提出了一个基于聚类的紧凑网络的对比学习方式的特征约简压缩到90+%的低维向量的上下文特征。然后，我们提出了一个基于集群的修剪解决方案，过滤掉10%-40%的冗余节点在大型数据存储，同时保持翻译质量。我们提出的方法实现了更好的或相当的性能，同时减少了57%的推理延迟对先进的非参数MT模型在几个机器翻译基准。实验结果表明，所提出的方法保持了原始网络的最有用的信息，紧凑网络在未知领域表现出良好的泛化能力。
2022-05-03 cs.CL
Remedy: Learning Machine Translation Evaluation from Human Preferences with Reward Modeling
Language Technology Lab University of Amsterdam（语言技术实验室 阿姆斯特丹大学）
针对机器翻译评估中人类评分噪声及现有方法片段级表现差的问题，提出将评估重构为奖励建模任务的ReMedy框架，通过成对偏好数据学习相对质量，在WMT22-24任务中实现片段与系统级最优，且检测错误和评估低质翻译能力卓越。
2025-04-18 cs.CL
Hybrid-Regressive Neural Machine Translation
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
在这项工作中，我们凭经验证实，非自回归翻译与迭代细化机制（IR-NAT）的加速鲁棒性差，因为它是解码批量大小和计算设备设置比自回归翻译（AT）更敏感。受此启发，我们试图探讨如何更好地结合自回归和非自回归翻译范式的优势。为此，我们证明，通过合成实验，促使少量的AT的预测可以促进一次性的非自回归翻译，以实现相当于IR-NAT的性能。按照这条线，我们提出了一个新的两阶段的翻译原型称为混合回归翻译（HRT）。具体地，HRT首先经由自回归（例如，每k个令牌进行预测，k>1），然后以非自回归方式一次填充所有先前跳过的令牌。我们还提出了一个技术包，有效地和高效地训练HRT，而不添加任何模型参数。HRT在WMT En-De任务上达到了最先进的BLEU分数28.49，并且无论批量大小和设备如何，都比AT快至少1.5倍。此外，HRT的另一个好处是，它成功地继承了AT在深编码器浅解码器架构中的良好特性。具体地说，与具有6层编码器和6层解码器的普通HRT相比，具有12层编码器和1层解码器的HRT的推理速度在GPU和CPU上进一步加倍，而没有BLEU损失。
2022-10-19 cs.CL
Generating Diverse Translation from Model Distribution with Dropout
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
神经机器翻译（NMT）虽然提高了翻译质量，但在生成过程中往往缺乏多样性。在本文中，我们建议通过贝叶斯建模和抽样模型从他们的推理推导出大量的可能的模型，以产生不同的翻译。通过对NMT模型应用具体的dropout来获得可能的模型，并且每个可能的模型对于其预测具有特定的置信度，其对应于贝叶斯建模原理中特定训练数据下的后验模型分布。通过变分推理，后验模型分布可以用变分分布近似，从中采样用于推理的最终模型。实验结果表明，该方法在翻译的多样性和准确性之间取得了较好的平衡。
2020-10-16 cs.AI cs.CL
You Cannot Feed Two Birds with One Score: the Accuracy-Naturalness Tradeoff in Translation
Imperial College London（伦敦帝国学院）；Google（谷歌）
本文通过信息论证明并实证展示翻译评估中准确性与自然性存在权衡，单一分数无法全面反映性能，倡导在准确性-自然性平面上比较翻译系统。
2025-08-06 cs.CL
BERT(s) to Detect Multiword Expressions
University of Wolverhampton（伍尔弗汉普顿大学）
多词表达（MWE）是一组词，其中整体的意义不是从其部分的意义中派生出来的。处理MWE的任务在许多自然语言处理（NLP）应用中是至关重要的，包括机器翻译和术语提取。因此，检测MWE是一个热门的研究课题。在本文中，我们探索了检测MWE任务中最先进的神经Transformers。我们在SemEval-2016任务10：检测最小语义单元及其含义（DiMSUM）的数据集中实证评估了几个Transformer模型。我们证明了Transformer模型优于以前基于长短期记忆（LSTM）的神经模型。代码和预先训练的模型将免费提供给社区。
2022-08-16 cs.CL
How Effective are State Space Models for Machine Translation?
TU Munich（慕尼黑工业大学）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel（Unbabel公司）；ELLIS Unit Lisbon（ELLIS里斯本单元）
本文系统比较 Transformer 与 RetNet、Mamba 及其注意力混合模型在机器翻译中的表现，发现 Mamba 竞争力强，融入注意力可进一步提升质量、长度外推鲁棒性和命名实体记忆。
2024-07-07 cs.CL
BLEU Meets COMET: Combining Lexical and Neural Metrics Towards Robust Machine Translation Evaluation
Instituto de Telecomunicações（电信研究所）；Unbabel；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（LUMLIS（里斯本ELLIS单元））
本文研究将 BLEU/chrF 等词汇度量与 COMET/BLEURT 等神经度量相结合，通过在训练中引入句子级特征和词级标签，提升机器翻译评估对实体、数字等关键错误的稳健性和与人类判断的相关性。
2023-05-30 cs.CL
Do Not Change Me: On Transferring Entities Without Modification in Neural Machine Translation -- a Multilingual Perspective
Poznan University of Technology（波兹南技术大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
本文从多语言视角系统评估了OPUS、Google Translate、MADLAD和EuroLLM等神经机器翻译模型在英德波乌四种语言间保留URL、IBAN、邮箱等实体的能力，分析错误原因并提出含36,000句的多语言合成数据集以支持实体迁移质量评估。
2025-05-09 cs.CL
Finding the Right Recipe for Low Resource Domain Adaptation in Neural Machine Translation
NVIDIA（英伟达）
通用翻译模型通常仍然难以在专业领域中生成准确的翻译。为了指导机器翻译从业者并表征领域自适应方法在不同数据可用性场景下的有效性，我们对单语和并行数据方法进行了深入的实证探索，以在架构更改不切实际的情况下对预先训练的第三方NMT模型进行领域自适应。我们比较数据为中心的适应方法的隔离和组合。我们研究方法的有效性，在非常低的资源（8 k并行的例子）和适度低的资源（46 k并行的例子）的条件下，并提出了一个集成的方法，以减轻减少原始域的翻译质量。我们的工作包括三个领域：消费电子，临床和生物医学，并跨越四个语言对- Zh-En，Ja-En，Es-En和Ru-En。我们还提出了实现高域内性能的具体建议，并发布了所有语言的消费电子和医疗领域数据集，并公开了我们的代码。
2022-06-02 cs.CL cs.LG
Detecting Cross-Lingual Plagiarism Using Simulated Word Embeddings
University of Sunderland（桑德兰大学）
跨语言剽窃（CLP）是指用一种语言编写的文本被翻译成另一种语言，并在不承认原始来源的情况下使用。用于检测CLP的最常见方法之一需要在线机器翻译器（例如Google或Microsoft翻译），但这些翻译器并不总是可用的，并且鉴于剽窃检测通常涉及大型文档比较，所需的翻译量将压倒在线机器翻译器，特别是在检测网络上的剽窃时。此外，当翻译的文本被替换为同义词时，使用在线机器翻译器来检测CLP将导致较差的性能。针对跨语言剽窃检测（CLPD）问题，提出了一种利用模拟词嵌入重现在线机器翻译器（Google translate）在检测CLP时的预测的模型。模拟嵌入包括映射在公共空间中的不同语言的翻译单词，并复制以增加从模型中检索单词（及其同义词）的翻译的预测概率。与大多数现有的模型，该模型不需要并行语料库，并容纳多种语言（多语种）。我们证明了所提出的模型在包含CLP案例的标准数据集中检测CLP的有效性，并根据依赖于在线机器翻译器（T + MA模型）的最新基线评估了其性能。评估结果表明，该模型不仅是有效的检测CLP，它优于基线。结果表明，CLP可以通过利用具有词嵌入的互联网翻译器的预测准确性来检测，而不依赖于互联网翻译器。
2018-01-03 cs.CL cs.IR
Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation
Xiamen University（厦门大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Soochow University（苏州大学）
本文针对kNN-MT中上下游领域差距导致检索精度下降的问题，提出通过训练修订器重建数据存储中的键表示，并设计语义距离损失和L2范数损失进行优化，实验证明该方法能有效提升领域适应场景下的检索与翻译质量。
2023-05-26 cs.CL
Neural Machine Translation and Sequence-to-sequence Models: A Tutorial
Carnegie Mellon University（卡内基梅隆大学）
本教程介绍了一组新的强大的技术，称为“神经机器翻译“或“神经序列到序列模型”。这些技术已经被用于处理人类语言的许多任务中，并且可以成为任何想要对某种顺序数据建模的人的工具箱中的强大工具。本教程假设读者了解数学和编程的基础知识，但不假设有任何神经网络或自然语言处理的特定经验。它试图解释所涵盖的各种方法背后的直觉，然后用足够的数学细节深入研究它们，以具体理解它们，并提出实施练习的建议，读者可以在实践中测试他们是否理解了内容。
2017-03-05 cs.CL cs.LG stat.ML
OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection
University of Alberta（阿尔伯塔大学）
提出基于最优传输的词对齐器OTTAWA，通过引入“null”向量和单边约束设置显式建模缺失对齐，在HalOmi基准上有效检测机器翻译中的幻觉与漏译错误，且无需访问系统内部状态。
2024-06-04 cs.CL
DP-NMT: Scalable Differentially-Private Machine Translation
Technical University of Darmstadt（达姆施塔特工业大学）；Paderborn University（帕德博恩大学）
针对隐私保护神经机器翻译模型开发的研究空白与DP-SGD复现性问题，本文提出开源框架DP-NMT，整合模型、数据集与评估指标，保持算法细节透明，并通过多领域实验验证其有效性。
2024-04-24 cs.CL
Building Bridges: A Dataset for Evaluating Gender-Fair Machine Translation into German
University of Graz（格拉茨大学）；Instituto de Telecomunicações（电信研究所）；University of Hamburg（汉堡大学）
本文构建了首个评估英德机器翻译中性别公平语言的数据集与基准，发现现有系统主要输出阳性形式，揭示了该领域的研究空白。
2024-06-10 cs.CL
A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for Fairer Instruction-Tuned Machine Translation
Bocconi University（博科尼大学）；University of Hamburg（汉堡大学）
本文研究了指令微调机器翻译模型中的性别偏见问题，通过可解释性方法发现模型会忽略指示职业性别的代词并默认男性翻译，进而提出了一种基于少样本学习的有效偏见缓解方案以实现更公平的翻译。
2023-10-25 cs.CL cs.LG
KD4MT: A Survey of Knowledge Distillation for Machine Translation
University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）
本文综述了机器翻译中知识蒸馏的应用，分析了其方法论贡献和实际应用，指出了研究空白和评估问题，并提供了实用指南和风险提示。
2026-01-22 cs.CL
NAP at SemEval-2023 Task 3: Is Less Really More? (Back-)Translation as Data Augmentation Strategies for Detecting Persuasion Techniques
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
针对多语言新闻说服技巧检测中训练数据不足的问题，本研究采用（反向）翻译作为数据增强策略结合多语言Transformer模型，经自动与人工评估验证两种策略均能提升性能，且平衡人工与机器生成数据十分关键。
2023-04-27 cs.CL
Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一个新的训练目标命名为顺序不可知交叉熵（OaXE）的完全非自回归翻译（NAT）模型。OaXE改进了标准的交叉熵损失，以改善单词重排的效果，这是NAT中关键多模态问题的常见来源。具体地，OaXE消除了单词顺序错误的惩罚，并基于模型预测和目标令牌之间的最佳对齐来计算交叉熵损失。由于日志丢失对无效引用非常敏感，因此我们利用交叉熵初始化和丢失截断来确保模型集中在搜索空间的很大一部分。在主要的WMT基准测试上进行的大量实验表明，OaXE大大提高了翻译性能，为完全NAT模型创造了新的技术水平。进一步的分析表明，OaXE通过减少令牌重复和增加预测置信度来解决多模态问题。我们的代码、数据和训练模型可以在https://github.com/tencent-ailab/ICML21_OAXE上找到。
2021-06-09 cs.AI cs.CL cs.LG
What about em? How Commercial Machine Translation Fails to Handle (Neo-)Pronouns
Universität Hamburg（汉堡大学）；Bocconi University（博科尼大学）；University of South Carolina（南卡罗来纳大学）；Aarhus University（奥胡斯大学）
本文研究商业机器翻译系统在处理第三人称新代词和性别中立代词时的失败，通过多语言翻译错误分析和母语者调查，为改进身份包容性机器翻译提供建议。
2023-05-25 cs.AI cs.CL cs.CY
Extrinsic Evaluation of Machine Translation Metrics
University of Edinburgh（爱丁堡大学）
本研究评估了chrF、COMET等机器翻译指标在三个跨语言下游任务中的片段级有效性，发现这些指标与最终任务结果相关性可忽略，建议未来指标应输出标签而非分数。
2023-06-19 cs.AI cs.CL
Extract and Attend: Improving Entity Translation in Neural Machine Translation
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
本文提出 Extract-and-Attend 方法，通过词典提取源实体翻译候选并作为解码器前缀供其关注，显著提升 NMT 的实体翻译与整体质量。
2023-06-04 cs.AI cs.CL
Detecting Word Sense Disambiguation Biases in Machine Translation for Model-Agnostic Adversarial Attacks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
词义消歧是英语翻译中常见的翻译错误之一。我们认为，一些不正确的消歧选择是由于模型过度依赖训练数据中的数据集工件，特别是表面的单词共现，而不是对源文本的更深入理解。我们介绍了一种基于统计数据属性的预测消歧错误的方法，证明了它在多个领域和模型类型中的有效性。此外，我们开发了一个简单的对抗攻击策略，最小限度地干扰句子，以引起消歧错误，以进一步探讨翻译模型的鲁棒性。我们的研究结果表明，消歧鲁棒性在不同领域之间存在很大差异，并且在相同数据上训练的不同模型容易受到不同的攻击。
2020-11-03 cs.CL
Detecting over/under-translation errors for determining adequacy in human translations
Amazon（亚马逊）
我们提出了一种新的方法来检测过度和不足的翻译（OT/UT）的一部分，充分的错误检查翻译评估。我们并不局限于机器翻译（MT）输出，而是专门针对具有人工生成翻译管道的应用程序。我们的系统的目标是从人类翻译的视频字幕中识别OT/UT错误，具有高错误召回率。我们通过在合成的训练数据上学习模型来实现这一点，而不需要参考翻译。我们比较了我们在预训练语言模型的嵌入上训练的各种分类网络与我们最好的GRU + CNN混合网络，在8种语言的高质量人工注释评估数据上实现了89.3%的准确率。
2021-04-01 cs.CL cs.LG
TransClean: A Benchmark for Detecting and Extracting Clean Translations from Large Language Model Outputs
University of Oslo（奥斯陆大学）
针对LLM翻译输出中的噪声问题，构建了包含9900对噪声/干净翻译的基准TransClean，并评估了两种提取方法，为评估和改进翻译清洁度提供了首个系统框架。
2026-09-11 cs.CL
GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4
Microsoft（微软）
本文提出 GEMBA-MQM，一种基于 GPT-4 和三次提示技术的翻译质量错误检测指标，无需人工参考译文且支持语言无关提示，在系统排名上达到最优准确度，但因其黑盒性质在学术使用中需谨慎。
2023-10-21 cs.CL
Learning Confidence for Transformer-based Neural Machine Translation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tencent（腾讯）
置信度估计旨在量化模型预测的置信度，提供成功的预期。当在现实环境中给定噪声样本和分布外数据时，经过良好校准的置信度估计可以实现准确的故障预测和适当的风险测量。然而，这一任务对于神经机器翻译（NMT）仍然是一个严峻的挑战，其中来自softmax分布的概率无法描述模型何时可能出错。为了解决这个问题，我们提出了一个无监督的置信度估计学习与NMT模型的训练。我们将置信度解释为NMT模型需要多少提示才能做出正确的预测，提示越多表明置信度越低。具体来说，NMT模型可以选择要求提示来提高翻译准确性，但代价是一些轻微的惩罚。然后，我们通过计算模型使用的提示数量来近似他们的置信水平。我们证明了我们学习的置信度估计在广泛的句子/单词级质量估计任务中达到了很高的准确性。分析结果验证了我们的置信度估计可以正确评估两种真实场景中的潜在风险：（1）发现噪声样本和（2）检测域外数据。我们进一步提出了一种新的基于置信度的特定于实例的标签平滑方法，该方法基于我们学习的置信度估计，其性能优于标准标签平滑。
2022-03-22 cs.AI cs.CL
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad（印度信息技术学院海得拉巴分校）
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题，本文构建带重音标注的印度英语数据集，提出基于FastPitch的可迁移重音的TTS架构，实现印度英语到印地语的重音迁移SSMT系统，提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks
Google DeepMind（谷歌DeepMind）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；International Centre for Theoretical Sciences, Tata Institute of Fundamental Research（理论科学国际中心， Tata 基础研究机构）
提出一套合成算法任务基准，通过跨语言执行相同任务来检测大语言模型的跨语言能力差距，实验揭示多个先进模型存在持续差距。
2026-05-29 cs.AI cs.CL cs.LG
Detecting Machine-Translated Text using Back Translation
KDDI Research, Inc.（KDDI综合研究所）；The University of Tokyo（东京大学）
机器翻译文本在使用不同语言的人们的交流中起着至关重要的作用。但是，攻击者可以将此类文本用于恶意目的，例如剽窃和虚假评论。现有的方法只利用文本的内在内容来检测机器翻译文本，但它们不适合对具有相同含义的机器翻译文本和人类书写文本进行分类。我们提出了一种方法来提取用于区分机器/人类文本的基础上的相似性的内在文本和它的回翻译的特征。对法语翻译句子的检测结果表明，该方法的准确率和F值均达到75.0%。它优于现有的方法，其最好的准确率为62.8%，F-分数为62.7%。该方法甚至可以更有效地检测回译文本，准确率为83.4%，高于之前最佳准确率的66.7%。我们也取得了类似的结果，不仅与F-分数，而且与日本有关的类似实验。此外，我们证明了我们的检测器可以识别机器翻译和机器回译文本，而无需用于生成这些机器文本的语言信息。它演示了我们的方法在低资源和富资源语言的各种应用程序中的持久性。
2019-10-15 cs.CL
Detecting Unseen Multiword Expressions in American Sign Language
University of Southern California（南加州大学）
该研究面向美式手语翻译中的未见多词表达识别问题，构建并测试基于 GloVe 词嵌入的两个检测系统，证明词嵌入可较准确地判断词位组合是否具有非组合性。
2023-09-30 cs.CL
Detecting Syntactic Features of Translated Chinese
Indiana University（印第安纳大学）
我们提出了一种机器学习方法来区分翻译成中文的文本（由人类），从原来用中文写的文本，重点是广泛的句法特征。在中文翻译研究中，使用支持向量机（SVM）作为分类器，在体裁平衡的语料库上，我们发现成分分析树和依存三元组作为不含词汇信息的特征在任务中表现得非常好，F-测量值超过90%，接近词汇n-gram特征的结果，没有学习主题信息而不是翻译特征的风险。因此，我们认为只有句法特征才能准确区分译文和原文。译文中越来越多地使用限定词、主语代词、NP +"的“作为NP修饰语、多个NP或VP由汉语特定标点符号连接以及其他结构。本文还结合前人的翻译研究，特别是代词的用法，对《红楼梦》的句法特征进行了解释。
2018-04-23 cs.CL
AAVENUE: Detecting LLM Biases on NLU Tasks in AAVE via a Novel Benchmark
Algoverse AI Research（Algoverse AI 研究所）
提出AAVENUE基准，用LLM翻译和少样本提示扩展VALUE，评估LLM在AAVE和SAE的NLU任务表现，发现LLM在SAE上表现更优，揭示偏见并强调包容性NLP需求。
2025-10-16 cs.CL
Grounding or Guessing? Visual Signals for Detecting Hallucinations in Sign Language Translation
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH））；Saarland Informatics Campus（萨尔兰州信息学校园）；Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心（BSC-CNS））
针对手语翻译中模型依赖语言先验而非视觉输入导致幻觉的问题，提出一种基于特征敏感性和反事实信号的令牌级可靠性度量，用于量化视觉信息利用程度，并在两个基准上验证其预测幻觉率、跨数据集泛化及与文本信号结合提升风险评估的效果。
2026-05-30 cs.CL
Translation Error Detection as Rationale Extraction
University of Sheffield（谢菲尔德大学）；Imperial College London（伦敦帝国理工学院）
最近基于多语言预训练表示的质量估计（QE）模型在预测翻译句子的整体质量时取得了非常有竞争力的结果。预测翻译错误，即具体检测哪些单词是不正确的，是一项更具挑战性的任务，特别是在训练数据有限的情况下。我们假设，与人类不同，成功的QE模型依赖于翻译错误来预测整体句子质量。通过探索一组特征归因方法，将相关性得分分配给输入以解释模型预测，我们研究了最先进的量化宽松模型的行为，并表明从这些模型中提取的解释（即理由）确实可以用于检测翻译错误。因此，我们（i）引入了一种新的半监督方法，用于词级QE和（ii）建议使用QE任务作为一个新的基准来评估特征属性的可解释性，即如何解释模型解释是人类。
2021-08-27 cs.CL
"Is Hate Lost in Translation?": Evaluation of Multilingual LGBTQIA+ Hate Speech Detection
University of New South Wales（新南威尔士大学）
本文评估了大型语言模型在英语、意大利语、中文和英语-泰米尔语中检测LGBTQIA+仇恨言论的能力，发现微调能持续提升性能，而机器翻译效果不一，且自动翻译难以捕捉语言的社会文化细微差别。
2024-10-24 cs.CL
SGHateCheck: Functional Tests for Detecting Hate Speech in Low-Resource Languages of Singapore
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出面向新加坡及东南亚多语言环境的 SGHateCheck 框架，通过大语言模型翻译改写与本地标注扩展功能测试，揭示现有仇恨言论检测模型在低资源语言内容审核中的关键缺陷。
2024-05-03 cs.CL
Factorized Learning Assisted with Large Language Model for Gloss-free Sign Language Translation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Macau University of Science and Technology（澳门科技大学）；CAIR, HKISI, Chinese Academy of Sciences（中国科学院香港创新研究院）；Mashang Consumer Finance（马上消费金融）
针对无标注手语翻译中视觉表示学习不足的问题，提出FLa-LLM方法，通过两阶段因子化训练（先预训练视觉编码器，再冻结其知识微调LLM），在三个数据集上显著提升性能。
2024-03-19 cs.CL
Detecting Machine-Translated Paragraphs by Matching Similar Words
KDDI Research Inc.（KDDI综合研究所）
机器翻译文本在现代生活中发挥着重要作用，它使使用不同语言的各种社区的交流更加顺畅。然而，不自然的翻译可能会导致误解，因此需要检测器来避免不幸的错误。虽然先前的方法使用N-gram语言模型测量连续单词的自然度，但另一种方法在句子中匹配不连续单词，但该方法忽略了单个句子中的这些单词。我们开发了一种匹配整个段落中相似单词并估计段落级别连贯性的方法，可以识别机器翻译的文本。对2000个英文人工生成段落和2000个英文机器翻译的德文段落的实验表明，基于连贯性的方法取得了较高的性能（准确率为87.0%，等出错率为13.0%）。它是有效地优于以前的方法（最好的准确率= 72.4%;等出错率= 29.7%）。在荷兰人和日本人身上进行的类似实验分别获得了89.2%和97.9%的准确率。结果表明，所提出的方法在不同的语言与不同的资源水平的持久性。
2019-04-24 cs.CL
MultiCaption: Detecting disinformation using multilingual visual claims
MultiCaption通过多语言视觉主张数据集提升多模态虚假信息检测性能
2026-01-16 cs.CL
Bangla Grammatical Error Detection Using T5 Transformer Model
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出了一种使用文本到文本转换Transformer（T5）语言模型检测孟加拉语语法错误的方法，使用BanglaT5的小变体，在9385个句子的语料库上进行微调，其中错误由专用的分界符号括起来。T5模型主要是为翻译而设计的，并不是专门为此任务而设计的，因此需要大量的后处理来使其适应错误检测任务。我们的实验表明，T5模型可以实现低Levenshtein距离在孟加拉语中检测语法错误，但后处理是必不可少的，以实现最佳性能。在5000个句子的测试集上，对微调模型的输出进行后处理后的最终平均Levenshtein距离为1.0394。本文还提出了一个详细的分析模型检测到的错误，并讨论了适应语法的翻译模型的挑战。我们的方法可以扩展到其他语言，证明了T5模型在检测各种语言中的语法错误方面的潜力。
2023-03-19 cs.CL cs.LG
Fantastic Features and Where to Find Them: Detecting Cognitive Impairment with a Subsequence Classification Guided Approach
Winterlight Labs（Winterlight实验室）；Toronto（多伦多（城市名，非机构））
尽管基于嵌入的机器学习方法在自然语言处理任务上取得了广泛的成功，但在认知障碍（CI）检测等领域，使用更容易解释的工程特征仍然很常见。从嘈杂的文本中手动设计特征是耗时和资源消耗的，并且可能导致不能增强模型性能的特征。为了解决这个问题，我们描述了一种新的方法，利用顺序机器学习模型和领域知识来预测哪些功能有助于提高性能的功能工程。我们提供了一个具体的例子，这种方法的标准数据集的CI语音和CI分类精度提高了2.3%，在一个强大的基线时，使用这种方法产生的功能。这个演示提供了一个例子，说明如何使用这种方法来帮助分类领域的解释是很重要的，如医疗保健。
2020-10-13 cs.CL cs.LG
SynSciPass: detecting appropriate uses of scientific text generation
scite
机器生成文本检测的方法往往集中在人类与机器书写文本的二进制分类上。在科学领域，出版商可能会使用这些模型来检查提交的手稿，错误分类有可能对作者造成伤害。此外，作者可以适当地使用文本生成模型，例如使用翻译工具等辅助技术。在这种情况下，可能会使用二进制分类方案来标记辅助文本生成技术的适当使用，因为这只是机器生成的，这是一个令人担忧的原因。在我们的工作中，我们通过展示一个在DAGPap 22上训练的最先进的检测器来模拟这种情况，该检测器使用Scielo的机器翻译段落，并发现该模型随机执行。鉴于这一发现，我们开发了一个数据集开发框架，该框架提供了一种细致入微的方法来检测机器生成的文本，方法是通过为所使用的技术类型（如翻译或释义）添加标签，从而构建SynSciPass。通过在SynSciPass上训练在DAGPap 22上表现良好的相同模型，我们证明了该模型不仅对域转移更鲁棒，而且能够揭示用于机器生成文本的技术类型。尽管如此，我们得出的结论是，目前的数据集既不全面也不现实，无法理解这些模型在野外的表现，其中手稿提交可能来自许多未知或新颖的分布，它们将如何在科学全文而不是小段落上表现，以及当自然语言生成的适当和不适当使用混合时可能会发生什么。
2022-09-09 cs.CL cs.DL
