IMTLab: An Open-Source Platform for Building, Evaluating, and Diagnosing Interactive Machine Translation Systems
Nanjing University(南京大学);Tencent AI Lab(腾讯人工智能实验室);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
IMTLab是一个开源平台,用于构建、评估和诊断交互式机器翻译系统,实验表明前缀约束解码编辑成本最低,BiTIIMT体验更佳。
2023-10-17 cs.CL
Correct-and-Memorize: Learning to Translate from Interactive Revisions
National Key Laboratory for Novel Software Technology, Nanjing, China(中国南京国家重点实验室);Nanjing University, Nanjing, China(中国南京南京大学)
最先进的机器翻译模型仍然无法与人工翻译相提并论。先前的工作将人类交互引入神经机器翻译过程,以获得目标语言的改进结果。然而,并不是所有的模型转换错误都是相等的-有些是关键的,而另一些是次要的。同时,同样的翻译错误在相似的语境中反复出现。为了解决这两个问题,我们提出了CAMIT,一种新的方法,在一个互动的环境中进行翻译。我们所提出的方法与关键的修订指令,因此允许人类纠正模型翻译的句子中的任意单词。此外,CAMIT根据上下文学习并软记忆修改操作,减轻重复错误的问题。在理想和真实的交互式翻译环境中的实验表明,我们提出的\method增强机器翻译的结果显着,同时需要更少的修订指令从人类相比,以前的方法。
2019-08-13 cs.CL
From Simultaneous to Streaming Machine Translation by Leveraging Streaming History
Valencian Research Institute for Artificial Intelligence(瓦伦西亚人工智能研究院);Universitat Politècnica de València(瓦伦西亚理工大学)
同步机器翻译是在输入句子完全可用之前增量地翻译它的任务。目前,同声翻译通过独立于先前翻译的文本翻译每个句子来进行。更一般地,流式MT可以被理解为同时MT到连续输入文本流的增量翻译的扩展。在这项工作中,一个国家的最先进的同步并行级MT系统扩展到流设置,利用流的历史。广泛的实证结果报告IWCHTMLTranslation Tasks,表明利用流历史导致显着的质量收益。特别是,所提出的系统被证明可以与性能最好的系统相媲美。
2022-03-31 cs.CL
Stream-level Latency Evaluation for Simultaneous Machine Translation
Valencian Research Institute for Artificial Intelligence(瓦伦西亚人工智能研究所);Universitat Politècnica de València(瓦伦西亚理工大学)
同步机器翻译最近获得了牵引力由于显着的质量改进和流媒体应用程序的出现。同时翻译系统需要在翻译质量和响应时间之间找到折衷,并且为此目的,已经提出了多个延迟措施。然而,同步翻译的延迟评估是在句子级别上估计的,没有考虑流媒体场景的顺序性质。实际上,这些同步级延迟度量不太适合连续流翻译,导致与被评估系统的同步翻译策略不一致的数字。这项工作提出了一个流级适应的基础上应用到输出翻译的重新分割方法的当前延迟措施,这是成功地评估流的条件下,为参考IWESTOS任务。
2021-09-08 cs.CL
Re-translation versus Streaming for Simultaneous Translation
Google Research(谷歌研究院)
在改进流式机器翻译方面已经有了很大的进步,这是一种同步范例,当更多的源内容变得可用时,系统会附加到一个不断增长的假设。我们研究了一个相关的问题,其中的假设超出严格的附加词的修订是允许的。这适用于诸如为音频源提供实时字幕的应用。在这种情况下,我们将自定义流方法与重新翻译进行比较,这是一种简单的策略,每个新的源令牌都会从头开始触发不同的翻译。我们发现重新翻译与最先进的流媒体系统一样好或更好,即使在允许很少修改的限制下运行。我们将这一成功归功于先前提出的数据增强技术,该技术将前缀对添加到训练数据中,该技术与wait-k推断一起形成了流翻译的强大基线。我们还强调了重新翻译的能力,包装任意强大的MT系统的实验表明,从升级到其基础模型的大的改进。
2020-06-29 cs.CL
Segment-Based Interactive Machine Translation for Pre-trained Models
Universitat Politècnica de València(瓦伦西亚理工大学);ValgrAI - Valencian Graduate School and Research Network for Artificial Intelligence(瓦伦西亚人工智能研究生学院及研究网络)
本研究探索预训练大语言模型在交互式机器翻译中的应用,选取mBART和mT5实验,对比基准数据集上的用户工作量等指标,发现mBART性能与当前最优模型相当,为交互式翻译模型开发提供新方向。
2024-07-09 cs.CL
An Interactive Machine Translation Framework for Modernizing Historical Documents
PRHLT Research Center(PRHLT研究中心)
由于人类语言的特性,历史文献很难被当代人理解。这就限制了专门研究这些文件所处时期的学者对它们的访问。现代化的目的是通过产生一个新的版本的历史文件,打破这一语言障碍,书面文件的原始语言的现代版本。然而,虽然现代化能够增加文档的理解力,但仍然远远不能产生无错误的版本。在这项工作中,我们提出了一个协作框架,在这个框架中,学者可以与机器一起工作,生成新的版本。我们在模拟环境中测试了我们的方法,显著减少了生成文档的现代化版本所需的人力。
2019-10-08 cs.CL
A Reinforcement Learning Approach to Interactive-Predictive Neural Machine Translation
Heidelberg University(海德堡大学)
我们提出了一种交互式预测神经机器翻译的方法,试图从三个方向减少人类的努力:首先,我们采用从人类强化学习的思想,而不是要求人类选择,纠正或删除片段,对部分翻译的质量进行判断。其次,通过使用词预测的熵作为不确定性标准来触发反馈请求,进一步减少了人工努力。最后,在每次交互后在线更新模型参数,使模型能够快速适应。我们在模拟实验中表明,部分翻译的奖励信号显着提高字符的F-分数和BLEU相比,只有完整的翻译反馈,而人类的努力可以减少到平均数的$5$反馈请求的每个输入。
2018-06-05 cs.CL stat.ML
Segmentation-Free Streaming Machine Translation
Universitat Politècnica de València(瓦伦西亚理工大学);Universitat de València(瓦伦西亚大学)
本文提出一种无分割流式机器翻译框架,通过延迟分割决策至翻译生成后,在质量-延迟权衡上优于传统级联方法。
2024-05-25 cs.CL
Streaming Translation and Transcription Through Speech-to-Text Causal Alignment
Hikari通过概率WAIT令牌机制实现流式语音到文本翻译与转录,引入解码器时间扩张减少自回归开销,并采用监督微调策略提升质量-延迟权衡,取得多项语言任务的最新BLEU分数。
2026-09-11 cs.CL
Decoder-only Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
本文提出首个仅解码器同声机器翻译模型DST,通过分别编码源与目标前缀位置并设计流式自注意力机制,在三个翻译任务上达到最优性能。
2024-06-06 cs.CL
How Far Can Machine Translation Quality Take You? Extrinsic Discourse Evaluation in Goal-Oriented Setups
Language Technology Lab, University of Amsterdam(语言技术实验室,阿姆斯特丹大学)
研究机器翻译在静态和交互式目标导向任务中的外在话语评估,发现高内在翻译质量不能保证下游话语成功,且强系统仍存在指代不一致问题。
2026-06-16 cs.CL
A User-Study on Online Adaptation of Neural Machine Translation to Human Post-Edits
Kazan Federal University(喀山联邦大学);Heidelberg University(海德堡大学)
神经机器翻译(NMT)的优势已经被广泛验证,用于离线翻译口语和书面语的不同领域的几种语言对。然而,NMT的交互式学习的研究,以适应人类的后编辑迄今为止,仅限于模拟实验。我们提出了第一个用户研究的在线适应NMT用户后编辑领域的专利翻译。我们的研究涉及29名人类受试者(翻译学生),他们的后期编辑工作和翻译质量是在人类后期编辑和集成在线自适应学习算法的机器翻译系统的大约4,500次交互上测量的。我们的实验结果显示,根据几个评估指标,包括hTER,hBLEU和KSMR,由于NMT中的在线适应,人类编辑后的工作量显着减少。此外,我们发现NMT输出和授权专利中的专业翻译之间的BLEU/TER有显着改善,为在线自适应NMT在交互式设置中的优势提供了进一步的证据。
2018-09-18 cs.CL
Interactive-Chain-Prompting: Ambiguity Resolution for Crosslingual Conditional Generation with Interaction
Google Research(谷歌研究院);Mila(米拉研究所);Polytechnique Montreal(蒙特利尔综合理工学院)
跨语言条件生成(例如,机器翻译)长期以来一直享受着缩放的好处。尽管如此,仍然有一些问题是单靠规模可能无法克服的。例如,一种语言的源查询可能会产生另一种语言的几个翻译选项,而无需任何额外的上下文。然而,只有一种翻译是可以接受的,这取决于译者的偏好和目标。选择不正确的选项可能会严重影响翻译的实用性和质量。我们提出了一种新的方法互动链提示-一系列的问题,回答和生成中间步骤之间的翻译模型和用户模型-减少翻译成一系列的子问题解决歧义,然后解决这些子问题之前,产生最终的文本要翻译。为了检查歧义解决能力和评估翻译质量,我们创建了一个数据集,展示了不同的语言现象,这导致了四种语言的推理歧义。为了鼓励在这个方向上的进一步探索,我们发布了所有数据集。我们注意到,交互式链提示,使用八个交互作为范例,始终超过基于直接存取背景信息,以解决歧义的方法。
2023-01-24 cs.AI cs.CL cs.LG
Neural Machine Translation with Error Correction
Nanjing University of Science and Technology(南京理工大学);Microsoft Research Asia(微软亚洲研究院)
神经机器翻译(NMT)在训练过程中生成下一个目标令牌,而在推理过程中生成前一个目标令牌,这会导致训练和推理之间的差异以及错误传播,影响翻译精度。在本文中,我们引入了一个错误校正机制NMT,它纠正了错误的信息,在以前生成的令牌,以更好地预测下一个令牌。具体地说,我们将XLNet的双流自注意引入NMT解码器,其中查询流用于预测下一个令牌,同时内容流用于纠正先前预测令牌的错误信息。我们利用预定采样来模拟训练过程中的预测误差。在三个IWITR翻译数据集和两个WMT翻译数据集上的实验表明,该方法在Transformer基线和预定采样上取得了很好的效果。进一步的实验分析也验证了我们提出的纠错机制对提高翻译质量的有效性。
2020-07-21 cs.CL
Overcoming Latency Bottlenecks in On-Device Speech Translation: A Cascaded Approach with Alignment-Based Streaming MT
Meta AI.(Meta AI)
本文提出一种基于对齐的级联流式机器翻译方法,通过利用ASR语言线索和束搜索剪枝技术,在端侧实时语音翻译中有效平衡质量与延迟,缩小了与非流式系统的差距。
2025-08-18 cs.AI cs.CL
Context-Aware Dialectal Arabic Machine Translation with Interactive Region and Register Selection
University of Toledo(托莱多大学);Claremont Graduate University(克莱蒙特研究生大学)
本文提出一种上下文感知的阿拉伯语方言机器翻译框架,通过规则基于的数据增强生成多区域语料,提升翻译输出的方言和语域可控性。
2026-04-07 cs.CL
SOTASTREAM: A Streaming Approach to Machine Translation Training
Microsoft(微软)
针对机器翻译中静态数据预处理耗时、占空间且不灵活的问题,本文提出并开源 SOTASTREAM 流式数据生成与训练框架,支持实时算子处理并保持模型准确率。
2023-08-14 cs.CL
Non-Monotonic Attention-based Read/Write Policy Learning for Simultaneous Translation
Meta AI;Meta Inc.(元宇宙公司)
本研究提出一种基于非单调注意力读写策略学习的同声翻译方法,通过增强预训练非流式模型并利用源-目标对齐学习决策边界,以最小延迟实现高质量翻译,优于多个强基线。
2025-03-28 cs.AI cs.CL
Efficient One-to-Many Translation with Joint Multi-Stream Diffusion
Worcester Polytechnic Institute(伍斯特理工学院)
针对一对多翻译中自回归系统延迟高的问题,提出联合多流离散扩散框架,并行优化所有目标语言,实现亚线性延迟、统一模型部署及零样本迁移,在加速采样下达到AR质量并获2倍加速和零样本BLEU提升11.9%。
2026-09-16 cs.AI cs.CL
On Non-interactive Evaluation of Animal Communication Translators
EPFL(瑞士联邦理工学院);Project CETI(CETI项目);OpenAI
本研究提出一种无需互动或观测、仅基于英语输出的非交互式评估方法,利用逐段翻译和洗牌测试识别幻觉,以评估动物通信翻译器,并在数据稀缺实验中验证其有效性。
2025-10-17 cs.CL cs.LG
CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation
Microsoft(微软公司)
针对流式语音翻译标注数据成本高的问题,提出CTC-GMM方法,利用CTC压缩语音序列匹配文本序列,借助MT文本数据优化模型,在FLEURS、CoVoST2上提升准确率并加快GPU解码速度。
2024-10-07 cs.AI cs.CL eess.AS
Non-autoregressive Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Soochow University(苏州大学)
针对自回归架构导致的同声翻译过度预测问题,提出非自回归流式 Transformer(NAST),通过单向编码器与非自回归解码器结合,并利用空白或重复标记灵活调整读写策略,在多个基准上优于强基线。
2023-10-23 cs.AI cs.CL
MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup for Visual Speech Translation and Recognition
Zhejiang University(浙江大学)
多媒体通信促进了全球人民之间的互动。然而,尽管研究人员探索跨语言翻译技术,如机器翻译和音频语音翻译,以克服语言障碍,仍然是视觉语音的跨语言研究不足。这种研究的缺乏主要是由于缺乏包含视觉语音和翻译文本对的数据集。在本文中,我们提出了\textbf{AVMuST-TED},第一个数据集\textbf{A} \textbf{V}视觉\textbf{Mu} ltilingual \textbf{S} peech \textbf{T} translation,来自\textbf{TED}会谈。然而,视觉语音不像音频语音那样可区分,使得难以开发从源语音音素到目标语言文本的映射。为了解决这个问题,我们提出了MixSpeech,这是一个跨模态的自学习框架,它利用音频语音来规范视觉语音任务的训练。为了进一步减少跨模态差距及其对知识转移的影响,我们建议采用混合语音,这是通过插入音频和视频流,随着课程学习策略,以调整混合比例需要。MixSpeech增强了嘈杂环境中的语音翻译,将AVMuST-TED上四种语言的BLEU分数提高了+1.4至+4.2。此外,它在CMLR(11.1%),LRS 2(25.5%)和LRS 3(28.0%)上的唇读中达到了最先进的性能。
2023-03-09 cs.CL cs.CV
Simultaneous Translation between Sign Languages
Oregon State University(俄勒冈州立大学)
本文提出首个同声手语到手语翻译系统,采用两种wait-k机制并引入计算感知延迟度量ca-Stream-AL,在六个方向上实现38%延迟降低,同时保持较小的质量损失。
2026-09-29 cs.CL cs.CV
Navigating the Minefield of MT Beam Search in Cascaded Streaming Speech Translation
Meta
针对级联流式语音翻译中的束搜索挑战,提出一种适配算法,提升BLEU 1点,降低CPU时间40%和字符闪烁率20%以上。
2024-06-26 cs.CL cs.LG eess.AS
Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation
Samsung Research(三星研究院)
最近,同声翻译已经引起了很多关注,因为它可以实现引人注目的应用,例如现场活动的字幕翻译或实时视频通话翻译。这些翻译应用程序中的一些允许编辑部分翻译,从而产生重新翻译方法。目前的重翻译方法是基于自回归序列生成模型(ReTA),它在(部分)翻译中顺序生成目标令牌。ReTAmodels中顺序生成的多次重新翻译导致随着源输入的增长,传入的源输入和相应的目标输出之间的推理时间间隔增加。此外,由于涉及大量的推理操作,ReTA模型对于资源受限的设备是不利的。在这项工作中,我们提出了一个更快的重新翻译系统的基础上的非自回归序列生成模型(FReTNA),以克服上述限制。我们对多个翻译任务进行了评估,与ReTA和流式传输(Wait-k)模型相比,我们的模型将推理时间减少了几个数量级,并实现了具有竞争力的BLEUscore。与ReTA模型相比,该模型通过在翻译质量上的小幅下降,将平均计算时间减少了20倍。它在计算时间(低1.5倍)和翻译质量方面也优于基于流媒体的Wait-k模型。
2021-06-02 cs.AI cs.CL
Self-Regulated Interactive Sequence-to-Sequence Learning
Heidelberg University(海德堡大学)
并非所有类型的监督信号都是平等的:不同类型的反馈对学习有不同的成本和影响。我们展示了如何自我调节策略,决定什么时候要求哪种反馈从老师(或自己)可以铸造作为一个学习的学习问题,从而提高成本意识的序列到序列的学习。在交互式神经机器翻译的实验中,我们发现,自我调节器发现了一个$ε$ -贪婪的策略,通过混合不同的反馈类型,包括纠正,错误标记,和自我监督的最佳成本质量权衡。此外,我们证明了它的鲁棒性下域转移,并确定它作为一个有前途的替代主动学习。
2019-10-31 cs.CL stat.ML
Reducing Position Bias in Simultaneous Machine Translation with Length-Aware Framework
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
同步机器翻译(SiMT)在接收流式源输入的同时开始翻译,因此源句子在翻译期间总是不完整的。与使用传统seq-to-seq架构的整句MT不同,SiMT通常应用前缀到前缀架构,其强制每个目标词仅与部分源前缀对齐以适应流输入中的不完整源。然而,由于词头中出现的词头较多,处于词头前位置的源词往往被错误地认为更重要,从而产生了位置偏向,使得模型在测试时更加关注词头前位置。本文首先分析了SiMT中的位置偏差现象,并提出了一个长度感知框架,通过弥合SiMT和整句MT之间的结构鸿沟来减少位置偏差。具体来说,给定流输入,我们首先预测整句长度,然后用位置编码填充未来的源位置,从而将流输入变成伪整句。所提出的框架可以集成到大多数现有的SiMT方法,以进一步提高性能。两个具有代表性的SiMT方法,包括国家的最先进的自适应政策的实验表明,我们的方法成功地减少了位置偏差,从而实现更好的SiMT性能。
2022-03-23 cs.AI cs.CL
DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
Fondazione Bruno Kessler(布鲁诺·克塞塞基金会)
提出DOA策略,利用解码器自注意力导出代理对齐,无需训练即可实现语音大语言模型在长形式同声传译中的流式决策。
2026-05-29 cs.AI cs.CL cs.SD
Synchronous Bidirectional Neural Machine Translation
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
神经机器翻译(NMT)的现有方法从左到右逐标记地生成目标语言序列。然而,这种单向解码框架不能充分利用可以在从右到左的解码方向上产生的目标侧未来上下文,并且因此遭受不平衡输出的问题。在本文中,我们介绍了一个同步双向神经机器翻译(SB-NMT),预测其输出使用从左到右和从右到左的解码同时和交互式,以便同时利用历史和未来的信息。具体来说,我们首先提出了一个新的算法,使同步双向解码在一个单一的模型。然后,我们提出了一个交互式解码模型,其中从左到右(从右到左)生成不仅取决于其先前生成的输出,而且还依赖于从右到左(从左到右)解码预测的未来上下文。我们广泛评估了提出的SB-NMT模型在大规模NIST中文-英文,WMT 14英文-德文和WMT 18俄文-英文翻译任务。实验结果表明,该模型较强的Transformer模型分别提高了3.92、1.49和1.04个BLEU点,在汉英和英德翻译任务上取得了较好的性能。
2019-05-13 cs.AI cs.CL cs.LG
NMT-Keras: a Very Flexible Toolkit with a Focus on Interactive NMT and Online Learning
Pattern Recognition and Human Language Technology Research Center, Universitat Politècnica de València(瓦伦西亚理工大学模式识别与人类语言技术研究中心)
我们提出了NMT-Keras,这是一个用于训练深度学习模型的灵活工具包,它特别强调神经机器翻译系统的高级应用程序的开发,例如交互式预测翻译协议和通过持续学习对翻译系统的长期适应。NMT-Keras基于流行的Keras库的扩展版本,它在Theano和Tensorflow上运行。按照Keras提供的高级框架部署和使用最先进的神经机器翻译模型。由于其高度的模块化和灵活性,它也被扩展到解决不同的问题,如图像和视频描述,句子分类和视觉问答。
2018-08-16 cs.CL
Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
语篇翻译是将源语言的语音翻译成目标语言的文本,近年来受到了广泛的关注。与传统的流水线系统相比,端到端ST模型具有更低的延迟、更小的模型大小和更少的错误传播的潜在好处。然而,众所周知,如果没有作为中间体的transmix,实现这样一个模型是非常困难的。现有的工作通常应用多任务学习,以提高翻译质量,通过联合训练端到端ST连同自动语音识别(ASR)。然而,该方法中的不同任务不能利用彼此的信息,这限制了改进。另一些工作提出了一个两阶段的模型,其中第二个模型可以使用隐藏状态从第一个,但其级联方式极大地影响了训练和推理过程的效率。在本文中,我们提出了一种新的交互式注意力机制,使ASR和ST同步和交互地执行在一个单一的模型。具体地说,译文和翻译的生成不仅依赖于其先前的输出,而且还依赖于其他任务中预测的输出。在TED语音翻译语料库上的实验表明,该模型在语音翻译质量和语音识别性能上均优于强基线。
2019-12-16 cs.CL cs.LG
Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach
Microsoft(微软)
研究同步语音翻译中仅解码器语言模型面临的挑战,提出基于固定长度块、回退前缀及教师标记前缀到前缀目标的CSSEL-P2P方法,经实验其在可比延迟下提升了流质量,证明无需架构改变可有效实现同步语音翻译。
2026-07-16 cs.CL
TACTIC: Translation Agents with Cognitive-Theoretic Interactive Collaboration
Big Data&AI Lab, ICBC(大数据与人工智能实验室,ICBC);Shanghai Jiao Tong University(上海交通大学);Meituan Inc.(美团公司);Tongji University(同济大学);Fudan University(复旦大学);Northeastern University(东北大学)
提出认知理论驱动的六智能体翻译框架 TACTIC,模拟人类翻译流程,在 FLORES-200 与 WMT24 上显著超越 GPT-4.1 和 DeepSeek-R1。
2025-06-11 cs.AI cs.CL
BayLing: Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
BayLing通过交互式翻译任务将英语的语言生成和指令跟随能力迁移至其他语言,基于LLaMA构建的130亿参数模型,性能接近GPT-3.5-turbo,并发布了测试集BayLing-80。
2023-06-21 cs.AI cs.CL
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft(微软)
神经传感器在自动语音识别(ASR)中得到了广泛的应用。在本文中,我们将其引入流端到端语音翻译(ST),其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译(MT)的级联ST相比,所提出的基于Transformer transducer(TT)的ST模型大大减少了推理延迟,利用了语音信息,并避免了从ASR到MT的错误传播。为了提高建模能力,我们提出了注意力池的联合网络在TT。此外,我们扩展了基于TT的ST多语言ST,它产生的文本在同一时间的多种语言。在大规模5万(K)小时伪标记训练集上的实验结果表明,基于TT的ST不仅显著减少了推理时间,而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
StreamAtt: Direct Streaming Speech-to-Text Translation with Attention-based Audio History Selection
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文提出首个流式语音翻译策略StreamAtt及首个可比较的延迟指标StreamLAAL,在MuST-C v1.0全部8种语言上验证了其优于朴素基线和现有SimulST策略。
2024-06-10 cs.AI cs.CL cs.SD
ELMI: Interactive and Intelligent Sign Language Translation of Lyrics for Song Signing
University of Toronto(多伦多大学);NAVER AI Lab(NAVER人工智能实验室)
本文提出ELMI工具,通过逐行手语注释编辑、实时歌词视频同步及大语言模型对话,辅助歌曲手语演绎者完成歌词翻译,并在13人研究中验证其能提升翻译信心与独立性。
2025-02-21 cs.AI cs.CL cs.HC
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft(微软)
提出LAMASSU模型,基于神经转换器实现流式语言无关的多语言语音识别与翻译,通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale
TTI-Chicago(芝加哥技术研究所)
SignMusketeers提出一种基于面部、手部和身体姿态多流输入的自监督高效手语翻译方法,通过单帧学习替代视频序列预训练,在How2Sign数据集上以不到3%的计算量取得与现有最优模型相当的翻译性能。
2025-06-03 cs.AI cs.CL cs.CV