Aligning Paralinguistic Understanding and Generation in Speech LLMs via Multi-Task Reinforcement Learning
Meta Reality Labs（Meta现实实验室）
本文提出通过多任务强化学习提升语音大语言模型对语用信息的理解与生成，实验表明在多个数据集上比监督模型和 proprietary 模型提升了8-12%的性能。
2026-03-16 cs.AI cs.CL
Adaptive Inner Speech-Text Alignment for LLM-based Speech Translation
Institute of Computing and Intelligence, Harbin Institute of Technology（哈尔滨工业大学计算与智能学院）；School of Computer Science and Engineering, Xi’an University of Technology（西安理工大学计算机科学与工程学院）
针对基于LLM的语音翻译中深层语义对齐不足的问题，提出AI-STA，利用最优传输和跨模态检索选择并联合训练适配层，显著提升LSM性能。
2025-03-13 cs.CL cs.SD eess.AS
Can Peter Pan Survive MT? A Stylometric Study of LLMs, NMTs, and HTs in Children's Literature Translation
School of Foreign Studies, Tongji University（同济大学外国语言学院）；Language and Translation Technology Team, Ghent University（根特大学语言与翻译技术团队）
本研究从计量文体学角度构建Peter Pan语料库，对比了LLMs、NMTs和HTs在英译中儿童文学翻译中的表现，发现LLMs在创意文本翻译特征上比NMTs更接近HTs，展现出在儿童文学翻译中的潜力。
2025-06-27 cs.CL
LLM-based Translation Inference with Iterative Bilingual Understanding
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Pengcheng Laboratory（鹏城实验室）
本文提出迭代双语理解翻译方法IBUT，利用大语言模型的跨语言能力与翻译任务双重特性，通过跨语言反馈迭代优化源语言和目标语言的上下文理解，在多个领域翻译基准上优于强基线方法。
2024-12-30 cs.AI cs.CL
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
TAPO通过引入翻译增强策略优化框架，提升多语言数学推理能力，有效结合语言理解和推理能力，优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Reinforced Self-Training (ReST) for Language Modeling
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
该研究提出强化自训练算法ReST，通过离线生成样本构建数据集并结合离线RL优化大语言模型，在机器翻译任务上以高效方式显著提升了翻译质量。
2023-08-21 cs.CL cs.LG
Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality for 3D Understanding, Generation, and Instruction Following
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出Point-Bind和Point-LLM，将点云与多模态对齐，实现3D生成、理解和指令跟随，无需3D指令数据即可提升问答能力。
2023-09-01 cs.AI cs.CL cs.CV
xTower: A Multilingual LLM for Explaining and Correcting Translation Errors
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Unbabel（Unbabel公司）；CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；ELLIS Unit Lisbon（ELLIS里斯本单元）
本文提出基于TowerBase的多语言大模型xTower，通过为翻译错误生成自由文本解释来指导译文修正，实验表明其解释合理有用且能显著提升翻译质量。
2024-06-27 cs.CL
Pruning Multilingual Large Language Models for Multilingual Inference
Tokyo Metropolitan University（东京都立大学）；Tohoku University（东北大学）；Hitotsubashi University（一桥大学）
本文提出利用多语言大语言模型的跨语言对齐能力，识别并保留翻译关键大幅度特征对应权重、剪枝其余权重，从而提升其非英语零样本推理性能。
2024-10-02 cs.CL
X-Instruction: Aligning Language Model in Low-resource Languages with Self-curated Cross-lingual Instructions
State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室）；Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出X-Instruction方法，通过自整理跨语言指令（英语指令+低资源语言响应）构建大规模数据集，显著提升低资源语言模型响应质量，达到或超越ChatGPT水平。
2024-05-30 cs.AI cs.CL
Aligning Neural Machine Translation Models: Human Feedback in Training and Inference
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Carnegie Mellon University（卡内基梅隆大学）；Unbabel（Unbabel公司）
本文系统比较了将质量指标作为奖励模型融入机器翻译流程的多种方式，发现基于质量估计的数据过滤对发挥强化学习潜力至关重要，并证明强化学习训练与重排序技术结合可显著提升翻译质量。
2024-07-04 cs.CL
An Algorithm for Aligning Sentences in Bilingual Corpora Using Lexical Information
在本文中，我们描述了一个算法，在双语语料库中使用的词汇信息的语言与他们的翻译对齐的句子。现有的有效算法忽略了词的身份，只考虑句子的长度（布朗，1991年;盖尔和教会，1993年）。对于源语言文本中的一个句子，该算法利用词汇信息和一定的语义学从目标语言文本中挑选最可能的翻译。它不使用句子长度进行统计分析。该算法是语言独立的。它还有助于检测翻译中文本的添加和删除。该算法在大多数情况下给出了与现有算法相当的结果，而在统计算法没有给出良好结果的情况下，它做得更好。
2003-02-12 cs.CL
Learning or Self-aligning? Rethinking Instruction Fine-tuning
University of Chinese Academy of Sciences（中国科学院大学）；Meituan（美团）；Key Laboratory of System Software, Chinese Academy of Sciences（中国科学院系统软件重点实验室）
该研究针对指令微调（IFT）底层机制认知不足的问题，设计知识干预框架解耦其影响因素，发现通过IFT学习额外世界知识难有正向作用甚至有负向影响，且IFT前后内部知识一致性是成功的关键，为相关研究提供支撑。
2024-08-11 cs.CL
MAATS: A Multi-Agent Automated Translation System Based on MQM Evaluation
MAATS是一种基于MQM框架的多智能体自动翻译系统，通过多个专门AI智能体分别处理不同MQM错误类别并迭代改进翻译，在多种语言对和LLM上显著优于单智能体基线，提升了语义准确性与上下文保真度。
2025-08-08 cs.CL cs.LG cs.MA
GUNDAM: Aligning Large Language Models with Graph Understanding
Renmin University of China（中国人民大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有LLMs图学习研究重文本特征、轻结构理解的不足，本研究提出GUNDAM模型以增强LLMs的图结构理解与推理能力，实验证明其性能优于SOTA基线，并通过理论分析揭示了推理路径的作用。
2024-10-08 cs.AI cs.CL cs.LG
ViTA: Visual-Linguistic Translation by Aligning Object Tags
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
多模态机器翻译（MMT）为翻译提供了丰富的视觉信息。近年来，它越来越受欢迎，并且已经提出了几条管道。然而，该任务缺乏高质量的数据集来说明视觉模态在翻译系统中的贡献。在本文中，我们提出了我们的系统下的团队名称Volta的多模态翻译任务的WAT 2021从英语到印地语。我们还参与了同一语言对的纯文本子任务，我们使用mBART，一种预训练的多语言序列到序列模型。对于多模态翻译，我们建议通过从图像中提取对象标签，将视觉信息带到文本域来增强文本输入。我们还通过系统地降低源文本来探索我们系统的鲁棒性。最后，我们在多模态任务的测试集和挑战集上获得了44.6和51.6的BLEU分数。
2021-06-28 cs.CL cs.CV
Tag-Aware Structured Text Translation: Towards a Systematic Understanding
Huawei Translation Service Center（华为翻译服务中心）
针对带标签文本翻译中流畅性与标签保真度的矛盾，提出数据合成、能力构建、多目标对齐三层面系统方法，显著提升多语言翻译质量。
2026-09-25 cs.AI cs.CL
Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem
The Ohio State University（俄亥俄州立大学）
本文通过南克丘亚语到西班牙语的检索增强上下文翻译消融实验，发现LLM的低资源翻译同时受限于上下文检索质量与语言理解利用能力。
2024-10-24 cs.AI cs.CL cs.LG
LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling
Tianjing University（天津大学）；University of Science and Technology of China（中国科学技术大学）；Lenovo Research（联想研究院）
针对大语言模型在图机器学习中因缺乏图结构建模能力表现不佳的问题，提出LangTopo框架，通过令牌层面对齐语言描述与拓扑建模，让LLM习得GNN的图结构捕获能力，可独立处理图数据，经多数据集验证有效。
2024-06-19 cs.AI cs.CL cs.LG
Better Alignment with Instruction Back-and-Forth Translation
University of Washington（华盛顿大学）；Meta FAIR
该研究提出指令往返翻译方法，基于网络语料构建高质量合成数据用于大语言模型对齐，在AlpacaEval上胜率优于多个常见指令数据集，兼具网络信息规模与回复质量优势。
2024-08-13 cs.AI cs.CL cs.LG
Aligning Pre-trained Models for Spoken Language Translation
Brno University of Technology（布尔诺技术大学）
本文提出通过小型连接器模块（Q-Former）对齐冻结的预训练ASR和MT模型以构建端到端ST系统，在How2数据集上验证了该方法的有效性，发现增大基础模型规模可提升性能，且连接器可作为领域适配器。
2024-11-27 cs.AI cs.CL cs.LG
Aligning Large Language Models to a Domain-specific Graph Database for NL2GQL
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）
本文提出通过ChatGPT自指令生成领域NL-GQL数据对并微调大语言模型，同时提取相关图模式作为上下文，在金融和医学图数据库上显著提升了NL2GQL性能。
2024-09-05 cs.AI cs.CL cs.DB
TS-Reasoner: Aligning Time Series Foundation Models with LLM Reasoning
University of Maryland, College Park（马里兰大学学院公园分校）
TS-Reasoner通过两阶段训练将时间序列基础模型与大语言模型对齐，在多个基准上性能优于同类模型且数据效率更高，解决了时间序列模型推理能力不足的问题。
2026-08-21 cs.AI cs.CL
DTW-Align: Bridging the Modality Gap in End-to-End Speech Translation with Dynamic Time Warping Alignment
Department of Advanced Computing Sciences（高级计算科学系）
本文提出DTW-Align方法，在训练期间利用动态时间规整对齐语音与文本嵌入，以更准确、更快速地弥合端到端语音翻译中的模态鸿沟，并在低资源场景下多数语言方向上优于现有方法。
2025-09-23 cs.CL
Aligning Large Language Models with Healthcare Stakeholders: A Pathway to Trustworthy AI Integration
Rutgers University（罗格斯大学）；Stanford University（斯坦福大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文综述了医疗保健利益相关者与大型语言模型对齐的方法、工具与应用，强调人类参与训练数据整理、模型训练和推理全过程，以构建可信赖的医疗AI应用。
2025-05-02 cs.AI cs.CL cs.CY
Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models
University of California Los Angeles（加州大学洛杉矶分校）
本文提出 PEFT 方法 Aligner，通过全局共享可调节 Token 修改各层注意力，仅用 5,000 参数即可在指令遵循与价值对齐上媲美 LoRA，并揭示 LLM 对形式与知识的正交处理机制。
2023-12-09 cs.AI cs.CL cs.LG
Improving Multilingual Language Models by Aligning Representations through Steering
Applied Artificial Intelligence Initiative, Deakin University, Australia（应用人工智能计划，德肯大学，澳大利亚）；School of Information Technology, Deakin University, Australia（信息技术学院，德肯大学，澳大利亚）
本文针对LLMs非英语标记表示研究不足的问题，提出轻量级表示引导干预方法，在单模型层残差流添加学习向量，在多基线实验中持续优于多数方案，与生产级翻译系统性能相当且资源更少，还探索了与SFT的互补性。
2025-08-26 cs.CL
SimulPL: Aligning Human Preferences in Simultaneous Machine Translation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Graduate School of Translation and Interpretation, Beijing Foreign Studies University（北京外国语大学高级翻译学院）
SimulPL 提出面向同声机器翻译的偏好学习框架，将人类偏好归纳为翻译质量、单调性、关键点、简洁性和延迟五类，并利用 GPT-4/4o 生成偏好数据、将延迟偏好纳入优化目标，从而改进读/写策略，在多个语言方向上实现与人类偏好更好的对齐。
2025-02-05 cs.AI cs.CL
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Unsupervised Hyperalignment for Multilingual Word Embeddings
Facebook AI Research（脸书人工智能研究院）；CREST ENSAE, Institut Polytechnique de Paris（巴黎理工学院ENSAE经济与统计研究中心）；Google Brain（谷歌大脑）
我们考虑的问题，对齐连续的单词表示，学习多种语言，一个共同的空间。最近的研究表明，在两种语言的情况下，可以在没有监督的情况下学习这种映射。本文将这一工作扩展到将多种语言对齐到一个公共空间的问题。一种解决方案是将所有语言独立地映射到一个pivot语言。不幸的是，这降低了间接单词翻译的质量。因此，我们提出了一种新的配方，确保组合映射，导致更好的对齐。我们评估我们的方法，联合对齐词向量在11种语言，表现出一致的改善与间接映射，同时保持竞争力的表现直接词翻译。
2019-06-04 cs.CL cs.LG
Translation Aligned Sentence Embeddings for Turkish Language
Datategy SAS（达塔泰基公司）；MATYZ Institute of Mathematics and Artificial Intelligence（MATYZ数学与人工智能研究所）
针对土耳其语高质量句子嵌入数据稀缺的问题，提出两阶段微调预训练编码器-解码器模型的方法，通过翻译对对齐嵌入空间，实现有限数据下的高效高精度句子嵌入。
2023-11-16 cs.CL
Tree-to-Sequence Attentional Neural Machine Translation
The University of Tokyo（东京大学）
现有的神经机器翻译（NMT）模型大多集中于顺序数据的转换，并不直接使用句法信息。我们提出了一种新的端到端句法NMT模型，扩展了序列到序列模型与源端短语结构。我们的模型有一个注意力机制，使解码器能够生成一个翻译的单词，同时柔和地将其与短语以及源句子的单词对齐。WAT'15英语到日语数据集上的实验结果表明，我们提出的模型大大优于序列到序列的注意力NMT模型，并与最先进的树到字符串SMT系统相媲美。
2016-06-08 cs.CL
KpopMT: Translation Dataset with Terminology for Kpop Fandom
Sungkyunkwan University（成均馆大学）；aiXplain Inc.（aiXplain公司）
针对社会群体内独特术语带来的翻译空白，研究团队选取Kpop粉丝圈为切入点，构建了带术语标注的KpopMT翻译数据集，评估发现现有翻译系统得分偏低，该数据集已公开。
2024-07-10 cs.CL
Paraphrase-Aligned Machine Translation
National Yang Ming Chiao Tung University（国立阳明交通大学）；Artificial Intelligence Research Center, AIST Japan（日本国立先进工业科学技术研究所人工智能研究中心）
针对大语言模型翻译输出常偏离目标语母语表达的问题，提出ParaAlign Translator方法，通过微调让模型生成与目标语结构对齐的释义以提升翻译效果，使LLaMA-3-8B在高低资源场景下性能提升，媲美甚至超过LLaMA-3-70B。
2024-12-08 cs.CL
Understanding Back-Translation at Scale
Facebook AI Research（Facebook人工智能研究院）；Google Brain（谷歌大脑）
利用单语数据改进神经机器翻译的一种有效方法是用目标语言句子的回译来扩充并行训练语料库。本文的工作拓宽了对回译的理解，并探讨了一些生成合成源句的方法。我们发现，在所有，但资源贫乏的设置后，通过采样或噪声光束输出获得的翻译是最有效的。我们的分析表明，采样或噪声合成数据给出了一个更强的训练信号比波束或贪婪搜索产生的数据。我们还比较了合成数据与真正的双文本的比较，并研究了各种域效应。最后，我们扩展到数亿个单语句子，并在WMT'14英语-德语测试集上达到了35 BLEU的新水平。
2018-10-03 cs.CL
ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora
Baidu Inc.（百度公司）
最近的研究表明，预训练的跨语言模型在下游跨语言任务中取得了令人印象深刻的性能。这种改进得益于学习大量的单语和平行语料库。虽然人们普遍认为，并行语料库是提高模型性能的关键，现有的方法往往受到并行语料库的大小，特别是低资源的语言。在本文中，我们提出了ERNIE-M，这是一种新的训练方法，鼓励模型将多种语言的表示与单语语料库对齐，以克服并行语料库大小对模型性能的限制。我们的关键见解是将反向翻译集成到预训练过程中。我们在单语语料库上生成伪平行句子对，以使不同语言之间的语义对齐的学习，从而增强跨语言模型的语义建模。实验结果表明，ERNIE-M优于现有的跨语言模型，并提供了新的国家的最先进的结果，在各种跨语言的下游任务。
2021-09-17 cs.CL
Understanding the Impact of UGC Specificities on Translation Quality
CNRS（法国国家科学研究中心）；LISN（计算机科学实验室）；Université Paris-Saclay（巴黎萨克雷大学）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Université de Paris（巴黎大学）；LLF（形式语言学实验室）
这项工作需要一个批判性的眼光在评估用户生成的内容自动翻译，其中众所周知的特点提出了许多挑战的机器翻译。我们的分析表明，使用UGC测试集上的标准度量来测量平均情况性能远远不能给出UGC翻译质量的可靠图像。这就是为什么我们引入了一个新的数据集来评估UGC翻译，其中UGC的特异性已经使用细粒度的类型学进行了手动注释。使用这个数据集，我们进行了几个实验，以衡量不同类型的UGC特异性对翻译质量的影响，比以前更精确。
2021-10-24 cs.CL
Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion
Facebook AI Research（脸书人工智能研究院）
在不同语言中分别学习的连续单词表示可以对齐，以便它们的单词在共同的空间中具有可比性。现有的作品通常解决一个最小二乘回归问题，学习旋转对齐一个小的双语词典，并使用检索标准进行推理。在本文中，我们提出了一个统一的配方，直接优化检索标准的端到端的方式。我们在标准基准测试上的实验表明，我们的方法在单词翻译上的表现优于最先进的技术，对于遥远的语言对，如英语-汉语，我们观察到了最大的改进。
2018-09-05 cs.CL cs.LG
Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯微信AI模式识别中心）
本研究从解码目标角度分析神经机器翻译中欠翻译的成因，提出利用预测EOS的置信度作为检测器并加强惩罚，以准确检测和纠正欠翻译输出。
2024-05-29 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
Aligning Cross-lingual Sentence Representations with Dual Momentum Contrast
Yuanfudao AI Lab（猿辅导AI实验室）
在本文中，我们建议将来自不同语言的句子表示对齐到一个统一的嵌入空间中，其中语义相似性（跨语言和单语言）可以用一个简单的点积计算。预训练的语言模型通过翻译排名任务进行微调。现有工作（Feng等人，2020）使用同一批中的句子作为否定词，这可能会受到容易否定的问题的影响。我们采用MoCo（He等人，2020年），进一步提高服务质量。实验结果表明，我们的模型产生的句子表示在几个任务上达到了最新的水平，包括Tatoeba en-zh相似性搜索（Artetxe和Schwenk，2019 b），BUCC en-zh双文本挖掘和7个数据集的语义文本相似性。
2021-09-01 cs.CL cs.IR
Attention Weights in Transformer NMT Fail Aligning Words Between Sequences but Largely Explain Model Predictions
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
这项工作提出了一个广泛的分析Transformer架构的神经机器翻译（NMT）设置。针对编码器-解码器的注意力机制，我们证明了注意力权重主要依赖于来自源序列的无信息标记，系统地产生对齐错误。然而，我们观察到NMT模型将注意力分配给这些标记，以调节两个上下文（源和目标序列的前缀）的预测中的贡献。我们提供的证据错误的对齐对模型行为的影响，证明编码器-解码器注意力机制是非常适合作为NMT的可解释性方法。最后，根据我们的分析，我们提出的方法，大大降低了字对齐出错率相比，标准的注意力权重引起的对齐。
2021-09-13 cs.AI cs.CL
Building the Language Resource for a Cebuano-Filipino Neural Machine Translation System
De La Salle University（德拉萨大学）；University of the Immaculate Conception（圣母无原罪大学）
平行语料库是基于机器学习的翻译中的重要资源。收集、提取和对齐文本以构建可接受的语料库进行翻译的任务非常繁琐，尤其是对于低资源语言。在本文中，我们提出了努力建立一个平行语料库宿务和菲律宾从两个不同的领域：圣经文本和网络。对于圣经资源，动词的子词单位翻译和名词的可复制方法被应用于纠正翻译中的不一致。这种校正机制被用作预处理技术。另一方面，维基百科是主要的网络资源，经常出现的主题段提取的源语言和目标语言。这些观察到的主题片段在4个不同的类别中是唯一的。这些主题段的识别可以用于句子的自动提取。使用递归神经网络来实现翻译，使用TensorFlow中的OpenNMT序列建模工具。然后，通过将这两个不同的语料库作为神经网络中的两个单独的输入来评估它们。结果表明，在两个语料库的BLEU分数的差异。
2021-10-05 cs.CL
A Rule-Based Approach For Aligning Japanese-Spanish Sentences From A Comparable Corpora
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
统计机器翻译系统（SMT）的性能与其使用的平行语料库的质量和长度成正比。然而，对于某些语言对来说，它们相当缺乏。长期的目标是建立一个用于SMT的日语-西班牙语平行语料库，然而，缺乏有用的日语-西班牙语平行语料库。为了解决这个问题，在这项研究中，我们提出了一种方法来提取日语-西班牙语平行句子从维基百科使用词性标注和基于规则的方法。这种方法的主要焦点是两种语言的句法特征。对样品进行了人体评价，与基线相比，显示出有希望的结果。
2012-11-19 cs.AI cs.CL
Picard understanding Darmok: A Dataset and Model for Metaphor-Rich Translation in a Constructed Language
University of Arizona（亚利桑那大学）；University of Maryland（马里兰大学）
塔玛丽安语是在《星际迷航》中出现的一种虚构语言，它通过隐喻性的引用来传达意义，比如“达莫克和贾拉德在塔纳格拉”而不是“我们应该一起工作”。这项工作汇集了一个塔玛里亚语-英语词典的话语从原来的插曲和几个后续小说，并使用它来构建一个平行语料库的456英语塔玛里亚语的话语。一个机器翻译系统的基础上的大语言模型（T5）的训练使用这个平行语料库，并显示出产生76%的准确性时，从英语翻译到Tamarian对已知的话语。
2022-10-14 cs.CL
Detecting and Understanding Generalization Barriers for Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；Tencent AI Lab（腾讯人工智能实验室）
泛化到不可见的实例是我们对所有数据驱动模型的永恒追求。然而，对于像机器翻译这样的实际任务，传统的方法在平均意义上衡量泛化能力提供了很好的理解细粒度的泛化能力。作为一种补救措施，本文试图识别和理解泛化障碍词在一个看不见的输入句子，\textit{cause}细粒度泛化的退化。我们提出了一个原则性的概括障碍词的定义和一个修改后的版本，这是易于计算。在此基础上，提出了三种简单的基于反事实生成的搜索感知风险估计的障碍检测方法。然后，我们进行了广泛的分析，这些检测到的泛化障碍词的Zh $\Leftrightarrow$ En NIST基准从不同的角度。还讨论了检测到的障碍词的潜在用途。
2020-04-05 cs.CL
Aligning Multilingual News for Stock Return Prediction
University of Toronto（多伦多大学）
针对多语言新闻翻译易丢失语义细节的问题，提出基于最优传输的跨语言新闻句子对齐方法，应用于海量英日财经新闻后，能提升股票收益预测相关性与交易策略夏普比率。
2025-10-22 cs.CL q-fin.CP
Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for Cross-Lingual Machine Reading Comprehension
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）
提出X-STA方法，通过注意力教师迁移答案跨度、梯度解缠知识共享和多粒度语义对齐，提升跨语言机器阅读理解性能，在三个数据集上超越现有最优方法。
2023-11-12 cs.CL
Unsupervised Sign Language Translation and Generation
Shanghai Jiao Tong University（上海交通大学）
提出无监督手语翻译与生成网络USLNet，利用单模态重建和跨模态反向翻译从无平行数据中学习，通过滑动窗口解决跨模态对齐问题，实现统一生成文本与手语视频。
2024-02-12 cs.CL
Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection
University of Maryland（马里兰大学）
神经序列生成模型被称为“幻觉”，通过产生与源文本无关的输出。这些幻觉有潜在的危害，但目前还不清楚它们是在什么情况下出现的，以及如何减轻它们的影响。在这项工作中，我们首先通过分析对比性幻觉与通过源扰动生成的非幻觉输出中的相对令牌贡献来识别幻觉的内部模型症状。然后，我们证明这些症状是自然幻觉的可靠指标，通过使用它们来设计一个轻量级的幻觉检测器，该检测器的性能优于无模型基线和基于质量估计的强分类器或手动注释的英-中和德-英翻译测试床上的大型预训练模型。
2023-02-25 cs.CL
Understanding Pre-Editing for Black-Box Neural Machine Translation
Nagoya University（名古屋大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
预编辑是对源文本进行修改的过程，以便机器翻译（MT）能够以更好的质量翻译源文本。尽管黑盒神经MT（NMT）具有不可预测性，但预编辑已被部署在各种实际的MT用例中。尽管许多研究已经证明了预编辑方法在特定环境中的有效性，但到目前为止，人们对预编辑是什么以及它如何在黑盒NMT中工作缺乏深入的了解。为了引起这样的理解，我们广泛调查了人类的预编辑实践。我们首先实现了一个协议，以增量方式记录每个ST的最小编辑量，并在三个翻译方向，两个MT系统和四个文本域中收集了6，652个预编辑实例。然后从三个方面对实例进行了分析：预编辑的特点，预编辑操作的多样性，以及预编辑操作对NMT输出的影响。我们的研究结果包括：（1）增强原文意义的明确性和句法结构比缩短原文更能提高译文的质量;（2）尽管预编辑对NMT的影响通常是不可预测的，但NMT的输出有一定的变化趋势，这取决于编辑操作的类型。
2021-02-05 cs.CL
Understanding Neural Machine Translation by Simplification: The Case of Encoder-free Models
Uppsala University（乌普萨拉大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
本文通过简化神经机器翻译（NMT）结构和训练无编码器的NMT模型来理解NMT。在无编码器模型中，词嵌入和位置嵌入的总和表示源。解码器是一个标准的Transformer或递归神经网络，通过注意力机制直接处理嵌入。实验结果表明：（1）无编码器模型中的注意力机制是一个强的特征提取器;（2）无编码器模型中的词嵌入与传统模型中的词嵌入相比具有竞争力;（3）非语境化的源表示导致性能大幅下降;（4）无编码器模型对德英和汉英对齐质量的影响不同。
2019-07-18 cs.CL
How2: A Large-scale Dataset for Multimodal Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Le Mans University（勒芒大学）；University of Copenhagen（哥本哈根大学）；University of Sheffield（谢菲尔德大学）
在本文中，我们介绍了How2，一个多模式的教学视频集合，带有英语字幕和众包葡萄牙语翻译。我们还提出了集成的序列到序列基线的机器翻译，自动语音识别，口语翻译和多模态摘要。通过为几个多模态自然语言任务提供数据和代码，我们希望激发对这些和类似挑战的更多研究，以更深入地了解语言处理中的多模态。
2018-12-07 cs.CL
Word Translation Without Parallel Data
Facebook AI Research（脸书人工智能研究院）；LIUM, University of Le Mans（勒芒大学语言与信息科学实验室）；Sorbonne Universités, UPMC Univ Paris 06, UMR 7606, LIP6（索邦大学、巴黎第六大学、法国国家科学研究中心与巴黎第六大学联合实验室7606、巴黎第六大学计算机科学实验室）
学习跨语言词嵌入的最新方法依赖于双语词典或平行语料库。最近的研究表明，并行数据监督的需要可以减轻字符级信息。虽然这些方法显示出令人鼓舞的结果，但它们与有监督的对应方法并不相同，并且仅限于共享共同字母表的语言对。在这项工作中，我们表明，我们可以建立两种语言之间的双语词典，而不使用任何平行的语料库，通过对齐单语词嵌入空间在无监督的方式。在不使用任何字符信息的情况下，我们的模型在某些语言对的跨语言任务上甚至优于现有的监督方法。我们的实验表明，我们的方法也非常适用于遥远的语言对，如英语-俄语或英语-汉语。最后，我们描述了英语世界语低资源的语言对上，只有有限的并行数据量的实验，以显示我们的方法在完全无监督机器翻译的潜在影响。我们的代码、嵌入和字典都是公开的。
2018-01-30 cs.CL
