Neural Machine Translation with Explicit Phrase Alignment
Institute for Artificial Intelligence（人工智能研究院）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Sogou Inc.（搜狗公司）
虽然神经机器翻译（NMT）已经达到了最先进的翻译性能，但它无法在翻译过程中捕获输入和输出之间的对齐。NMT模型缺乏对齐导致三个问题：（1）难以解释翻译过程，（2）难以施加词汇限制，（3）难以施加结构限制。为了缓解这些问题，我们建议引入显式短语对齐到任意NMT模型的翻译过程中。其关键思想是建立一个搜索空间，类似于基于短语的统计机器翻译的NMT短语对齐是现成的。我们设计了一个新的解码算法，可以很容易地施加词汇和结构的限制。实验表明，该方法在不牺牲翻译质量的前提下，使NMT的翻译过程更具可解释性。此外，我们的方法在词汇和结构约束的翻译任务中取得了显着的改善。
2019-11-28 cs.CL
On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation
The Hebrew University of Jerusalem（希伯来大学）
我们提出了一种方法，探讨句子结构是如何反映在神经表征的机器翻译系统。我们展示了我们的模型不可知的方法与Transformer英-德翻译模型。我们分析了神经元水平的相关性之间的激活释义，同时讨论了方法的挑战和需要混淆分析，以隔离浅线索的影响。我们发现，激活模式之间的相似性，主要可以占相似的词的选择和句子长度。接下来，我们操纵神经元激活来控制输出的句法形式。我们证明这种干预是成功的，表明深层模型捕捉到了神经元结构的差异，尽管在神经元水平上没有发现这种迹象。为了进行我们的实验，我们开发了一种半自动的方法来生成保持意义的最小对释义（主动-被动语态和状语从句-名词短语），并编译这样的对语料库。
2022-11-02 cs.CL
Machine Translation in Indian Languages: Challenges and Resolution
英语到印度语的机器翻译提出了结构和形态差异的挑战。本文描述了使用预排序和后缀分离的英语到印度语的统计机器翻译。预排序使用规则在训练和翻译之前转换源句子的结构。这种句法重构有助于统计机器翻译解决结构分歧，从而提高翻译质量。后缀分离是用来解决英语和高粘着印度语言之间的形态分歧。我们证明，使用前序和后缀分离有助于提高英语到印度语机器翻译的质量。
2018-08-01 cs.CL
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
随着基于transformer的模型的出现，机器翻译取得了快速的进展。这些模型没有显式的语言结构，但它们仍然可以通过关注相关的标记来隐式地学习结构化关系。我们假设，这种结构学习可以通过明确赋予Transformers结构偏差来变得更加强大，我们研究了两种方法来构建这种偏差。TP-Transformer是一种扩展传统Transformer体系结构的方法，它包括一个额外的组件来表示结构。第二种方法通过形态标记化对数据进行分割，从而在数据级别上注入结构。我们测试这些方法从英语翻译成形态丰富的语言，土耳其语和因纽特语，并考虑自动指标和人类的评价。我们发现，这两种方法都可以使网络获得更好的性能，但这种改进取决于数据集的大小。总之，结构化编码方法使Transformers更具采样效率，使它们能够从更少量的数据中获得更好的性能。
2022-08-11 cs.CL
Inferring Shallow-Transfer Machine Translation Rules from Small Parallel Corpora
本文描述了一种从小型平行语料库中自动推理结构迁移规则的方法，该方法可用于浅迁移机器翻译（MT）系统。结构转移规则基于比对模板，如在统计MT中使用的那些。对齐模板是从对齐的平行语料库中提取的，并扩展了一组限制，这些限制来自于MT系统的双语词典，并控制它们的应用程序作为传输规则。在免费/开源MT平台Atrium中使用三种不同的语言对进行的实验表明，与逐字翻译相比（当不使用转换规则时），翻译质量得到了提高，并且最终的翻译质量接近使用手工编码的转换规则获得的翻译质量。我们提出的方法是完全无监督的，并受益于MT系统的其余模块中的信息，其中应用推断的规则。
2014-01-15 cs.CL
Tree Transducers, Machine Translation, and Cross-Language Divergences
Indiana University（印第安纳大学）；School of Informatics and Computing（信息与计算学院）
树转换器是将树转换为其他树的形式自动机。在自动机理论文献中，以及最近在机器翻译文献中，已经探索了许多种类的树转换器。在本文中，我回顾了T和xT转换器，将它们与相关的形式主义联系起来，并展示了它们如何用于实现机器翻译系统的规则，这些规则涵盖了Bonnie Dorr关于这一主题的有影响力的文章中描述的所有跨语言结构分歧。我还提出了一个xT转导，适合和方便的实验翻译规则的实现。
2012-03-28 cs.CL
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT（麻省理工学院）
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers，同时保持了BLEU。然而，目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers，我们发现复杂的语义信息首先被降级。内部激活的分析表明，高层分歧最修剪的过程中，逐渐变得不那么复杂，比密集的同行。同时，稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加，注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
LaTeXTrans: Structured LaTeX Translation with Multi-Agent Coordination
School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院，中国沈阳）；NiuTrans Research, Shenyang, China（牛译研究院，中国沈阳）
LaTeXTrans通过多智能体协作实现结构化LaTeX文档的准确翻译，提升格式保留和术语一致性。
2026-03-11 cs.CL
Neural Machine Translation from Simplified Translations
SYSTRAN
语篇简化的目的是在保持语篇意义不变的前提下，减少语篇在词汇、语法和结构上的复杂性。在机器翻译的背景下，我们引入了简化翻译的想法，以提高深度神经翻译模型的学习能力。我们进行初步的实验表明，翻译的复杂性实际上是减少了在翻译的源双文本相比，目标参考的双文本，而使用神经机器翻译（NMT）系统上学习完全相同的双文本。基于知识蒸馏的思想，我们使用简化的双文本训练了一个NMT系统，并证明了它优于在参考数据集上构建的初始系统。当使用参考和自动翻译来学习网络时，性能进一步提高。我们进行了初步分析的翻译语料库和报告的准确性结果的建议的方法对英语到法语和英语到德语的翻译任务。
2016-12-19 cs.CL
Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
虽然教师强迫已经成为神经机器翻译的主要训练范式，但它通常只根据过去的信息进行预测，因此缺乏对未来的全局规划。为了解决这个问题，我们在训练期间将另一个解码器（称为seer解码器）引入到编码器-解码器框架中，该框架涉及目标预测中的未来信息。同时，我们通过知识蒸馏迫使传统的解码器模拟seer解码器的行为。在汉英、英德、英罗翻译任务上的实验结果表明，该方法在较大的数据集上能显著地优于竞争基准，并取得了较大的改进。此外，实验还证明了知识蒸馏是将知识从seer解码器转移到传统解码器的最佳方式，与对抗学习和L2正则化相比。
2021-06-12 cs.CL
Agreement-based Joint Training for Bidirectional Attention-based Neural Machine Translation
Baidu Inc.（百度公司）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Tsinghua University（清华大学）
注意机制已被证明是有效的，在改善端到端的神经机器翻译。然而，由于自然语言之间复杂的结构差异，单向的基于注意力的模型可能只能捕获注意力的部分方面。我们提出了基于协议的双向注意力端到端神经机器翻译的联合训练。我们的方法不是独立地训练源到目标和目标到源翻译模型，而是鼓励这两个互补的模型在相同的训练数据上就单词对齐矩阵达成一致。在汉英和英法翻译任务上的实验表明，基于一致性的联合训练比独立训练显著提高了对齐和翻译质量。
2016-04-22 cs.CL
A Challenge Set Approach to Evaluating Machine Translation
National Research Council Canada（加拿大国家研究委员会）；Google（谷歌）
神经机器翻译代表了翻译质量的一次令人兴奋的飞跃。但它解决了哪些长期存在的弱点，哪些仍然存在？我们解决这些问题的挑战集的翻译评估和错误分析的方法。挑战集由一小部分句子组成，每个句子都是手工设计的，以探测系统在语言之间弥合特定结构差异的能力。为了验证这种方法，我们提出了一个英语-法语挑战集，并使用它来分析基于短语和神经系统。由此产生的分析不仅提供了一个更细粒度的图片神经系统的优势，但也洞察到语言现象仍然遥不可及。
2017-08-29 cs.CL
When Does Reasoning Help in Machine Translation? A Hierarchical Analysis of LRM Reasoning Traces
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google DeepMind（谷歌DeepMind）
本研究通过层次化元摘要框架分析大型推理模型在机器翻译中的推理轨迹，发现推理语言、长度和模式对翻译质量有复杂影响，提出应模型感知、长度感知和模式感知地控制推理。
2026-09-21 cs.CL
Translation as a Decision Space: A Multi-Agent Perspective on Low-Resource Dialect Generation
Sakarya University（萨卡里亚大学）；TU Clausthal（克劳斯塔尔工业大学）；University of Luxembourg（卢森堡大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
该研究将翻译视为多智能体探索的决策空间，针对土耳其语-叙利亚阿拉伯语翻译开展实证研究，提出可解释低资源方言生成的框架，轻量稳定化可提升方言标记使用量并降低结构不稳定性。
2026-09-04 cs.AI cs.CL
Utilizing Language Relatedness to improve Machine Translation: A Case Study on Languages of the Indian Subcontinent
Microsoft India（微软印度）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
在这项工作中，我们提出了一个广泛的研究，统计机器翻译涉及印度次大陆的语言。这些语言通过遗传和接触关系而相互关联。我们描述了这些关系所产生的印度语之间的相似之处。我们探讨如何词汇和拼写这些语言之间的相似性，可以利用有限的平行语料库，以提高印度语之间的翻译质量。我们还探讨了如何利用印度语之间的结构对应关系，以重新使用英语到印度语翻译的语言资源。我们的观察涵盖了来自9种印度语言和英语的90种语言对。据我们所知，这是第一个专门致力于利用语言相关性来改善相关语言之间翻译的大规模研究。
2020-03-19 cs.CL
Domain Adaptation for Statistical Machine Translation
University of Macau（澳门大学）
统计机器翻译（SMT）系统在应用于新的目标领域时表现不佳。我们的目标是探索领域自适应方法和技术，以提高特定领域SMT系统的翻译质量。然而，翻译来自特定领域的文本（例如，医学充满了挑战。第一个挑战是模糊性。单词或短语在不同的上下文中有不同的含义。二是语言风格，因为不同体裁的语篇往往以不同的句法、长度和结构形式呈现。第三个问题是词汇表外词（OOVs）问题。域内训练数据通常很少，术语覆盖率低。在这篇论文中，我们探讨了最先进的领域自适应方法，并提出了有效的解决方案，以解决这些问题。
2018-04-05 cs.CL
To Diverge or Not to Diverge: A Morphosyntactic Perspective on Machine Translation vs Human Translation
Google Translate Research（谷歌翻译研究院）
本研究从形态句法发散视角对比机器翻译与人工翻译，发现机器翻译因束搜索算法而更保守且收敛，且人工翻译中的发散现象会导致机器翻译性能下降。
2024-01-02 cs.CL
Deconvolution-Based Global Decoding for Neural Machine Translation
Peking University（北京大学）；Xiamen University（厦门大学）
神经机器翻译（NMT）的序列到序列（Seq2Seq）模型中有很大一部分采用递归神经网络（RNN）按照顺序逐词生成译文。语言学的研究已经证明，语言不是线性的词序列，而是复杂的结构序列，翻译的每一步都要以整个译语语境为条件。为了解决这个问题，我们提出了一个新的NMT模型，解码序列的指导下，其结构预测的背景下的目标序列。我们的模型生成翻译的基础上的结构预测的目标端的上下文，使翻译可以摆脱束缚的顺序。实验结果表明，与现有的翻译方法相比，该模型具有更强的竞争力，并且分析表明，该模型对翻译不同长度的句子也具有很好的鲁棒性，同时还减少了目标方上下文的重复解码。
2018-06-10 cs.AI cs.CL cs.LG
Structural Transfer Learning in NL-to-Bash Semantic Parsers
University of Oxford（牛津大学）
本文提出定量理解机器翻译任务间结构重叠的方法，应用于 NLBash 任务发现其可归约为词汇对齐且与 NL-to-SQL 结构重叠强烈，并揭示预训练计算量增加不总能增强向 NLBash 的迁移效果。
2023-07-31 cs.AI cs.CL cs.LG
Exploitation and exploration in text evolution. Quantifying planning and translation flows during writing
Sony Computer Science Laboratories Rome（索尼计算机科学实验室罗马分部）；Centro Ricerche Enrico Fermi（恩里科·费米研究中心）；Complexity Science Hub Vienna（维也纳复杂性科学中心）；Sony Computer Science Laboratories Paris（索尼计算机科学实验室巴黎分部）；Newcastle University（纽卡斯尔大学）；Sapienza University of Rome（罗马第一大学）
本文构建记录完整写作历史的 writing cloud 数据集，提出量化规划探索与转译利用子循环的方法，揭示写作中两类阶段及其转折点随成稿推进而减少。
2023-02-08 cs.CL
Moving Beyond Review: Applying Language Models to Planning and Translation in Reflection
EPFL（瑞士联邦理工学院洛桑）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出利用语言模型支持反思写作的规划与翻译阶段，通过实验发现AI支持能提升反思深度和结构质量，但效果在延迟测试中减弱。
2026-03-30 cs.AI cs.CL cs.HC
An Information Structural Approach to Spoken Language Generation
本文提出了一种生成具有上下文适当语调的独白的体系结构。在生成的高层次内容规划和句子规划阶段使用双层信息结构表示，以产生有效的、连贯的语音，使某些话语关系（如明确的对比）适当地突出。该系统能够产生适当的语调模式，不能产生的其他系统，仅依赖于词类和给定/新的区别。
1996-07-03 cmp-lg cs.CL
Structural-Ambiguity-Aware Translation from Natural Language to Signal Temporal Logic
Graduate School of Engineering, The University of Osaka（大阪大学工学研究科）
本文提出一种保留结构模糊性的方法，将自然语言任务描述转换为信号时间逻辑候选公式，通过三阶段流程保留多个可能的语法分析，生成带有可信度评分的STL候选公式。
2026-03-30 cs.CL cs.SC
Planning Beyond Text: Graph-based Reasoning for Complex Narrative Generation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent Turing Lab（腾讯人工智能实验室）
本文提出PLOTTER框架，通过结构图进行叙事规划，提升LLM在复杂叙事生成中的长上下文推理能力。
2026-04-23 cs.AI cs.CL
Structured Document Translation via Format Reinforcement Learning
National Institute of Information and Communications Technology（日本信息与通信技术国家研究所）；SAP（SAP公司）
本文提出FormatRL方法，通过强化学习优化结构感知奖励，提升结构化文档翻译的结构和翻译质量。
2025-12-04 cs.AI cs.CL cs.LG
Typologically-Informed Candidate Reranking for LLM-based Translation into Low-Resource Languages
ZWAG AI Ltd（ZWAG人工智能有限公司）；Dubai AI Campus（迪拜人工智能校园）；DIFC（迪拜国际科技论坛）
本文提出一种基于语言类型学的候选重排序框架，通过语言类型学分析提升低资源语言翻译质量，无需平行数据或模型重训练。
2026-02-01 cs.CL
Structure-Preserving Document Translation via Multi-Stage LLM Pipeline: A Case Study in Marathi
Pune Institute of Computer Technology（普那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出一种结构保持的马拉地语-英语政府文档翻译框架，集成布局感知OCR、坐标文本提取、LLM翻译和HTML重建，确保文档布局和结构一致性。
2026-06-27 cs.CL cs.LG
Routine: A Structural Planning Framework for LLM Agent System in Enterprise
Digital China AI Research（数字中国人工智能研究院）
本文提出企业级LLM智能体结构化规划框架Routine，通过清晰结构与指令提升多步骤工具调用稳定性，将GPT-4o和Qwen3-14B执行准确率分别提升至96.3%和95.5%。
2025-07-22 cs.AI cs.CL
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University（南京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Squirrel AI Learning（松鼠AI智适应教育）
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能，例如神经机器翻译，语义解析和数学单词问题解决。然而，这些模型要么只考虑输入对象作为序列，而忽略了重要的结构信息的编码，或他们简单地处理输出对象作为序列输出，而不是结构对象的解码。在本文中，我们提出了一种新的图到树神经网络，即Graph 2 Tree组成的图编码器和分层树解码器，编码增强的图结构的输入和解码的树结构的输出。特别是，我们研究了我们的模型解决两个问题，神经语义解析和数学单词问题。我们广泛的实验表明，我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Guiding Language Model Reasoning with Planning Tokens
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Microsoft Research（微软研究院）；Mila — Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
本文提出在每个推理步骤开始时生成规划令牌作为高层计划，以极少的可训练参数增加引导语言模型进行结构化思维链推理，并在多个数学和问答数据集上取得显著准确率提升。
2024-08-06 cs.AI cs.CL cs.LG
Mitigating Structural Noise in Low-Resource S2TT: An Optimized Cascaded Nepali-English Pipeline with Punctuation Restoration
Department of Electronics and Computer Engineering, Institute of Engineering, Pulchowk Campus（电子与计算机工程系，工程学院，普尔楚克校区）
本文提出优化的尼泊尔-英语S2TT流水线，通过标点恢复模块显著提升翻译质量，实现BLEU分数提升4.90点。
2026-03-02 cs.AI cs.CL cs.LG
