arXiv 2510.091162025-10-13cs.CL

DITING：一个用于对网络小说翻译进行基准测试的多智能体评估框架

DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation

School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；Center for Language and Information Research, Wuhan University（武汉大学语言信息研究中心）；Jiangxi Normal University（江西师范大学）；The University of Manchester（曼彻斯特大学）；Yunnan Trrans Technology Co., Ltd.（云南翻译技术有限公司）；Malvern College Chengdu（成都马尔伯学院）

Enze Zhang, Jiaying Wang, Mengxi Xiao, Jifei Liu, Ziyan Kuang, Rui Dong, Eric Dong, Sophia Ananiadou, Min Peng, Qianqian Xie

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对现有机器翻译基准无法评估网络小说独特特征的问题，提出首个综合评估框架 DITING 及多智能体评估方法 AgentEval，发现中文训练的 LLM 表现更优，为该领域确立了新范式。

摘要：

大型语言模型（LLMs）显著推进了机器翻译（MT），但它们在翻译网络小说方面的有效性仍不明确。现有的基准测试依赖于表层指标，无法捕捉这一体裁的独特特征。为了填补这些空白，我们引入了 DITING，这是首个用于网络小说翻译的综合评估框架，它在六个维度上评估叙事与文化保真度：成语翻译、词汇歧义、术语本地化、时态一致性、零代词解析以及文化安全性，并得到了超过 18K 个专家标注的中英句子对的支持。我们进一步提出了 AgentEval，这是一个推理驱动的多智能体评估框架，它模拟专家的深思熟虑以评估超越词汇重叠的翻译质量，在七种测试过的自动指标中实现了与人类判断的最高相关性。为了实现指标比较，我们开发了 MetricAlign，这是一个包含 300 个句子对的元评估数据集，标注了错误标签和标量质量分数。对十四个开源、闭源和商业模型的综合评估表明，中文训练的 LLMs 超越了更大的外国同类模型，并且 DeepSeek-V3 提供了最忠实且风格连贯的翻译。我们的工作为探索基于 LLM 的网络小说翻译确立了新范式，并提供了公共资源以推进未来的研究。

英文摘要：

Large language models (LLMs) have substantially advanced machine translation (MT), yet their effectiveness in translating web novels remains unclear. Existing benchmarks rely on surface-level metrics that fail to capture the distinctive traits of this genre. To address these gaps, we introduce DITING, the first comprehensive evaluation framework for web novel translation, assessing narrative and cultural fidelity across six dimensions: idiom translation, lexical ambiguity, terminology localization, tense consistency, zero-pronoun resolution, and cultural safety, supported by over 18K expert-annotated Chinese-English sentence pairs. We further propose AgentEval, a reasoning-driven multi-agent evaluation framework that simulates expert deliberation to assess translation quality beyond lexical overlap, achieving the highest correlation with human judgments among seven tested automatic metrics. To enable metric comparison, we develop MetricAlign, a meta-evaluation dataset of 300 sentence pairs annotated with error labels and scalar quality scores. Comprehensive evaluation of fourteen open, closed, and commercial models reveals that Chinese-trained LLMs surpass larger foreign counterparts, and that DeepSeek-V3 delivers the most faithful and stylistically coherent translations. Our work establishes a new paradigm for exploring LLM-based web novel translation and provides public resources to advance future research.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。