Sequence-to-Sequence Neural Net Models for Grapheme-to-Phoneme Conversion
Microsoft Research（微软研究院）
基于边条件语言模型生成的序列到序列翻译方法最近在几个任务中显示出有希望的结果。在机器翻译中，以源边词为条件的模型已被用于产生目标语言文本，并且在图像描述中，以图像为条件的模型已被用于生成字幕文本。过去使用这种方法的工作主要集中在大词汇量任务上，并以BLEU来衡量质量。在本文中，我们探讨了这种模型的适用性，以定性不同的字形音素任务。这里，输入和输出端的词汇表都很小，普通的n-gram模型做得很好，并且只有在输出完全正确时才给予信用。我们发现，简单的侧条件生成方法能够与最先进的方法相媲美，并且我们能够通过双向长短期记忆（LSTM）神经网络显着推进最先进的方法，该神经网络使用与传统方法相同的对齐信息。
2015-08-20 cs.CL
Can the Language of the Collation be Translated into the Language of the Stemma? Using Machine Translation for Witness Localization
Goethe University Frankfurt（法兰克福歌德大学）
词干学是语言学的一个分支，其中一种理解文本的文本变体（传统的见证者）的复制历史的方法是生成进化树。计算方法部分由遗传学和干细胞学的姐妹学科共享。2022年，《自然通讯》（nature communications）上的一篇调查论文发现，深度学习（DL）在许多领域都带来了重大改进（Krohn et al 2020），但在生物遗传学方面只取得了微小的成功，“很难设想在不久的将来，端到端的DL模型可以直接从原始数据中估计系统发育树”（Sapoval et al. 2022，p.8）。在干细胞学中，迄今为止根本没有已知的DL方法。在本文中，我们提出了一种新的DL方法放置在一个stemma的手稿，并证明其潜力。这可以扩展到遗传学，其中DNA的通用代码可能是使用基于序列到序列的神经网络以检索树距离的方法的更好的先决条件。
2022-06-11 cs.CL q-bio.PE
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University（查尔斯大学）
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明，使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明，字符级双语模型是非常相似的语言对（加泰罗尼亚语-欧西坦语）的竞争力，但更遥远的对。我们还描述了我们的多任务学习实验，除了文本翻译外，模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Generating Synthetic Speech from SpokenVocab for Speech Translation
Monash University（莫纳什大学）
训练端到端语音翻译（ST）系统需要足够大规模的数据，这对于大多数语言对和域是不可用的。数据稀缺问题的一个实际解决方案是通过文本到语音（TTS）系统将机器翻译数据（MT）转换为ST数据。然而，使用TTS系统可能是繁琐和缓慢的，因为需要为每个MT数据集进行转换。在这项工作中，我们提出了一个简单的，可扩展的和有效的数据增强技术，即，SpokenVocab，将MT数据即时转换为ST数据。这个想法是根据MT序列中的单词从SpokenVocab库中检索和拼接音频片段。我们对Must-C中的多个语言对进行的实验表明，该方法的性能优于强基线，平均BLEU得分为1.83，并且与TTS生成的语音表现相同。我们还展示了如何SpokenVocab可以应用于代码切换ST，往往没有TTS系统退出。我们的代码可在https://github.com/mingzi151/SpokenVocab上获得
2023-02-08 cs.AI cs.CL
Unsupervised Neural Dialect Translation with Commonality and Diversity Modeling
University of Macau（澳门大学）
方言翻译作为一种特殊的机器翻译任务，具有两个主要特点：1）缺乏平行的训练语料; 2）翻译双方具有相似的语法。在本文中，我们研究如何利用方言之间的共性和差异，从而建立无监督的翻译模型，只访问单语数据。具体来说，我们利用私有嵌入，层协调，以及参数共享充分建模的共性和多样性之间的源和目标，从词汇，通过句法，语义水平。为了检验所提出的模型的有效性，我们收集了2000万单语语料库的普通话和粤语，这是官方语言和最广泛使用的方言在中国。实验结果表明，我们的方法优于基于规则的简体中文和繁体中文转换和传统的无监督翻译模型超过12 BLEU分数。
2019-12-11 cs.CL
(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts
Monash University（莫纳什大学）；Nanyang Technological University（南洋理工大学）；University of Macau（澳门大学）；Alibaba International Digital Commerce（阿里巴巴国际数字商业集团）
提出模拟翻译公司的多智能体框架 TransAgents，通过两阶段流程翻译超长文学文本，并设计 MHP 和 BLP 两种评估策略，其翻译结果优于基线且更受人类与 LLM 青睐。
2025-05-01 cs.CL
Multilingual Dialogue Generation and Localization with Dialogue Act Scripting
Nara Institute of Science and Technology（那拉科学与技术研究所）
本文提出对话行为脚本DAS，以结构化意图表示替代直接翻译，实现多语言对话的本地化生成，并在意、德、中三种语言上验证其优于机器与人工翻译。
2025-09-26 cs.CL
Tree-to-Sequence Attentional Neural Machine Translation
The University of Tokyo（东京大学）
现有的神经机器翻译（NMT）模型大多集中于顺序数据的转换，并不直接使用句法信息。我们提出了一种新的端到端句法NMT模型，扩展了序列到序列模型与源端短语结构。我们的模型有一个注意力机制，使解码器能够生成一个翻译的单词，同时柔和地将其与短语以及源句子的单词对齐。WAT'15英语到日语数据集上的实验结果表明，我们提出的模型大大优于序列到序列的注意力NMT模型，并与最先进的树到字符串SMT系统相媲美。
2016-06-08 cs.CL
Back-Translation-Style Data Augmentation for Mandarin Chinese Polyphone Disambiguation
Kwai（快手）
汉语形音转换（G2 P）在汉语文语转换（TTS）系统中占有重要地位，其中最大的挑战之一就是多音字消歧。大多数以前的多音字消歧模型都是在手动标注的数据集上训练的，并且用于多音字消歧的公开数据集很少。本文提出了一种简单的回译式数据增强方法用于汉语多音字消歧。受机器翻译领域提出的回译技术的启发，本文分别建立了一个用于多音字发音预测的字-音（G2 P）模型和一个用于语音文本预测的音-字（P2 G）模型。同时，提出了基于窗口的匹配策略和多模型评分策略来判断伪标签的正确性。针对训练集分布不均衡或数据稀缺的情况，设计了一种数据均衡策略，以提高对一些典型多音字的识别准确率。实验结果表明了所提出的反平移式数据增强方法的有效性。
2022-11-17 cs.AI cs.CL cs.SD
Zero and Few-Shot Localization of Task-Oriented Dialogue Agents with a Distilled Representation
Stanford University（斯坦福大学）
面向任务的对话（ToD）代理主要限于几种广泛使用的语言，这主要是由于为每种语言获取训练数据的成本很高。现有的低成本方法依赖于跨语言嵌入或朴素的机器翻译，为了数据效率牺牲了很多准确性，并且在创建可用的对话代理方面基本上失败。我们提出了自动方法，使用ToD训练数据在源语言中建立一个高质量的功能对话代理在另一个目标语言，没有训练数据（即zero-shot）或一个小的训练集（即Few-Shot）。不像大多数以前的工作，跨语言的ToD只专注于对话状态跟踪（DST），我们建立了一个端到端的代理。我们表明，我们的方法关闭之间的准确性差距Few-Shot和现有的完整的拍摄方法ToD代理。我们通过（1）改进对话数据表示，（2）改进实体感知机器翻译，（3）自动过滤噪声翻译来实现这一点。我们在最近的双语对话数据集BiToD上评估了我们的方法。在汉英迁移中，在zero-shot条件下，我们的方法在任务成功率（TSR）和对话成功率（DSR）上分别达到了46.7%和22.0%。在Few-Shot设置中，使用目标语言中10%的数据，我们将最先进的技术提高了15.2%和14.0%，在全拍摄训练的5%以内。
2023-02-18 cs.CL
Visually Grounded Word Embeddings and Richer Visual Features for Improving Multimodal Neural Machine Translation
University of Mons（蒙斯大学）
在多模态神经机器翻译（MNMT）中，神经模型生成描述图像的翻译句子，给定图像本身和英语的一个源描述。这被认为是多模态图像字幕翻译任务。用卷积神经网络（CNN）处理图像以提取可由翻译模型利用的视觉特征。到目前为止，所使用的CNN是在目标检测和定位任务上进行预训练的。我们假设，更丰富的架构，如密集的字幕模型，可能更适合MNMT，并可能导致改进的翻译。我们将这种直觉扩展到词嵌入，在那里我们为我们的语料库词汇计算语言和视觉表示。我们结合并比较了不同的配置，
2017-12-16 cs.CL
Converting Epics/Stories into Pseudocode using Transformers
SCTR’s Pune Institute of Computer Technology（SCTR浦那计算机技术学院）
本文提出两阶段 Transformer 方法，将敏捷用户故事先转为代码再转为伪代码，并发现分别训练的 CodeT5 在 BLEU 分数上表现最佳。
2023-12-08 cs.CL
Dubbing in Practice: A Large Scale Study of Human Localization With Insights for Automatic Dubbing
MIT Media Lab（麻省理工学院媒体实验室）；Amazon（亚马逊）；AWS AI Labs（亚马逊云科技人工智能实验室）
本研究基于319.57小时的专业配音语料库开展大规模人类配音行为研究，挑战了现有自动配音研究的常见假设，指出语音自然度、翻译质量及源语音特征保留的重要性，为自动配音系统研发提供新方向。
2022-12-23 cs.CL
Team ACK at SemEval-2025 Task 2: Beyond Word-for-Word Machine Translation for English-Korean Pairs
Adobe Inc.（Adobe公司）；CU Boulder（科罗拉多大学博尔德分校）；KAIST（韩国科学技术院）；New York University（纽约大学）；UBC（不列颠哥伦比亚大学）
本研究评估13个英韩翻译模型，发现LLMs优于传统MT系统但在文化适应的实体翻译上仍有困难，通过构建错误分类法揭示了自动评估指标的不足。
2025-04-29 cs.CL cs.IR
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列，导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译（AST）的任务，以及低资源英语自动语音识别（ASR）的任务。此外，在消融中，我们展示了增强数据的数量和多样性的好处。最后，我们表明，我们可以结合我们的方法与增强机器翻译的成绩单，以获得一个有竞争力的端到端AST模型，优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般，它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
Uncertainty Signals for Network Intent Translation: Risk Ranking and Ambiguity Localization
Khalifa University（哈利法大学）
本研究针对LLM生成的网络意图翻译配置，提出用采样预测不确定性排序风险、令牌级熵定位歧义，验证了两类信号在部署流程中的应用潜力。
2026-09-07 cs.CL cs.NI
Enhancing E-commerce Product Title Translation with Retrieval-Augmented Generation and Large Language Models
Amazon（亚马逊公司）
针对电商标题翻译中缺乏上下文和术语的问题，提出检索增强生成方法，利用双语示例作为少样本提示，提升LLM翻译质量，chrF最高提升15.3%。
2024-09-19 cs.AI cs.CL cs.LG
CALICO: Conversational Agent Localization via Synthetic Data Generation
Amazon, Alexa AI（亚马逊Alexa AI）
本研究提出CALICO方法，通过微调大语言模型实现对话智能体训练数据跨语言本地化，支持三种槽位操作与迭代噪声过滤，构建8语言人工本地化MultiATIS++测试集，性能优于现有最优方法。
2024-12-06 cs.AI cs.CL cs.LG
System and Methods for Converting Speech to SQL
IIT Guwahati（印度理工学院古瓦哈提分校）；IBM Information Management, India Software Lab（IBM信息管理印度软件实验室）
本文讨论了如何将英语口语查询转换为SQL，以便从关系数据库中检索数据。用户通过用户界面提交作为语音信号的查询，并获得文本格式的查询结果。我们已经开发了声学和语言模型，使用它的语音话语可以转换为英语文本查询，从而自然语言处理技术可以应用于这个英语文本查询，以生成一个等效的SQL查询。语音转换成英文文本HTK和朱利叶斯工具已被使用，并转换成SQL查询的英文文本查询，我们已经实现了一个系统，使用基于规则的翻译翻译成SQL查询的英文语言查询。翻译使用词法分析器，解析器和语法指导的翻译技术，如编译器。JFLex和BYACC工具分别用于构建词法分析器和语法分析器。系统是域独立的，即系统可以在不同的数据库上运行，因为它从底层数据库生成lex文件。
2013-08-14 cs.CL cs.DB
UNL Based Bangla Natural Text Conversion - Predicate Preserving Parser Approach
East West University（东西湖大学）
通用网络语言（UNL）是一种声明性的形式语言，用于表示从自然语言文本中提取的语义数据。本文提出了一种新的方法来转换孟加拉语自然语言文本到UNL使用的方法称为谓词保持解析器（PPP）技术。PPP同步执行文本的形态、句法和语义以及词法分析。这种分析产生了一个语义网一样的结构表示使用UNL。我们演示了孟加拉语文本分析PPP技术后，产生UNL文件，然后可以翻译成任何其他合适的自然语言促进机会，通过UNL开发一个通用的语言翻译方法。
2012-06-02 cs.CL
High-quality nonparallel voice conversion based on cycle-consistent adversarial network
National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
虽然随着机器学习的发展，语音转换（VC）算法已经取得了显著的成功，但在使用非并行数据时仍然难以实现优异的性能。在本文中，我们提出使用循环一致性对抗网络（CycleGAN）进行基于非并行数据的VC训练。CycleGAN是一种生成对抗网络（GAN），最初是为不成对的图像到图像翻译而开发的。性别间转换的主观评价表明，所提出的方法显着优于基于Merlin开源神经网络语音合成系统（适合我们的设置的并行VC系统）和基于GAN的并行VC系统的方法。这是第一个研究表明，非并行VC方法的性能可以超过最先进的并行VC方法。
2018-04-02 cs.CL cs.SD eess.AS
