BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.(百度公司)
本文介绍了一个大规模的汉英语音翻译数据集BSTC(Baidu Speech Translation Corpus)。该数据集是基于一系列许可的演讲或讲座视频构建的,包括约68小时的普通话数据,其手动转录和翻译成英语,以及通过自动语音识别(ASR)模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务,并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
Hermes the Polyglot: A Unified Framework to Enhance Expressiveness for Multimodal Interlingual Subtitling
MAIS, Institute of Automation, Chinese Academy of Sciences Beijing China;School of AI, University of\ Academy of Sciences Beijing China;Beijing Jiaotong University Beijing China;Geely AI lab Ningbo Zhejiang China;MAIS, Institute of Automation, Chinese Academy of Sciences;School of AI, University of\ Academy of Sciences;Beijing Jiaotong University;Geely AI lab
赫мес通过整合说话人分离、术语识别和表达力增强模块,提升了多模态跨语言字幕的表达力和连贯性,实现了最先进的字幕生成性能。
2026-01-31 cs.AI cs.CL
MELD-ST: An Emotion-aware Speech Translation Dataset
Technical University of Munich(慕尼黑工业大学);Kyoto University(京都大学);SenseTime(商汤科技);National Institute of Informatics(情报信息研究所)
本文提出MELD-ST数据集,用于情感感知语音翻译,包含英日和英德语言对,各约1万条带情感标签的语音,实验表明情感标签微调可提升翻译性能。
2024-05-21 cs.CL
SBAAM! Eliminating Transcript Dependency in Automatic Subtitling
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对自动字幕生成依赖转录文本的局限,该研究提出首个直接生成字幕的模型SBAAM!,在时间戳预测等全流程消除转录依赖,在多语言对和多种条件下达到了新的最优性能。
2024-05-17 cs.CL
Presenting Simultaneous Translation in Limited Space
Charles University(查理大学)
一些自动同步翻译长格式语音的方法允许修改输出,以低延迟换取准确性。为用户部署这些系统面临着在有限的空间(例如电视屏幕上的两行)中呈现字幕的问题。字幕必须及时、渐进地显示,并有足够的阅读时间。我们提供了一个算法的字幕。此外,我们提出了一种方法来估计的整体可用性的组合自动翻译和字幕的质量,延迟和稳定性的测试集上进行测量,并提出了一种改进的措施,翻译延迟。
2020-09-18 cs.CL
Direct Models for Simultaneous Translation and Automatic Subtitling: FBK@IWSLT2023
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
本文介绍FBK在IWSLT 2023的参与工作,利用直接架构完成同声传译与自动字幕生成任务,通过复用离线模型知识及调整ST模型,在降低延迟并提升字幕质量方面取得显著增益。
2023-09-27 cs.AI cs.CL cs.SD
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research(Meta人工智能研究院);Inria(法国国家信息与自动化研究所)
我们提出了SpeechMatrix,一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐,总共41.8万小时的语音。为了评估这种并行语音的质量,我们仅在挖掘数据上训练双语语音到语音翻译模型,并在EuroParl-ST,VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性,我们还探索了多语言语音到语音翻译,这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN(雷神BBN技术公司)
本文构建了123小时汉英电话会话语音翻译语料库,通过微调通用翻译模型,目标域BLEU提升超8点,验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
语音分割是将长语音分割成短语音段的过程,是语音翻译的关键。流行的VAD工具,如WebRTC VAD,通常依赖于基于暂停的分段。不幸的是,语音中的停顿不一定与句子边界匹配,句子可以通过很短的停顿连接起来,这很难被VAD检测到。在这项研究中,我们提出了一种语音分割方法,使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法,结合VAD和上述语音分割方法。实验结果表明,该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research(Facebook AI研究院)
在本文中,我们描述了我们的端到端多语言语音翻译系统,该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先,我们利用通用的多语言模块,这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后,我们的多语言模型在语音翻译任务特定的数据上进行微调,以达到最佳的翻译结果。实验结果表明,我们的系统优于报告的系统,包括端到端和级联的方法,由一个很大的利润。在某些翻译方向上,我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University(马斯特里赫特大学)
最近,我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下,语音翻译领域的活动仍然有限,尽管克服语言障碍至关重要。我们认为,限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题,据我们所知,LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库,我们使用了独立创建的德语和英语音频,从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型,其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库,我们提出了文本到语音模型的基础上,最近提出的FastSpeech 2模型,集成了源语言信息的例子。我们通过调整模型来实现这一点,以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
A Case Study on Contextual Machine Translation in a Professional Scenario of Subtitling
University of Sheffield(谢菲尔德大学);ZOO Digital Group PLC(ZOO数字集团有限公司)
本文通过工业案例研究验证了在电视字幕翻译中引入电影元数据等文本外上下文可显著减少译后编辑中的上下文相关错误,为完全上下文机器翻译提供了实证支持。
2024-06-27 cs.AI cs.CL cs.HC
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research(Meta人工智能研究院)
本文提出首个支持多种目标语言的多语言S2ST系统,通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器,在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
NeurST: Neural Speech Translation Toolkit
ByteDance(字节跳动)
NeurST是一个用于神经语音翻译的开源工具包。该工具包主要专注于端到端语音翻译,易于使用,修改和扩展到高级语音翻译研究和产品。NeurST旨在促进NLP研究人员的语音翻译研究,并为该领域建立可靠的基准。它为特征提取、数据预处理、分布式训练和评估提供了一步一步的方法。在本文中,我们将介绍NeurST的框架设计,并显示不同的基准数据集的实验结果,这可以被视为未来研究的可靠基线。该工具包可在https://github.com/bytedance/neurst/上公开获取,我们将在https://st-benchmark.github.io/上与其他同行和研究一起不断更新NeurST的性能。
2021-06-15 cs.CL cs.SD eess.AS
A Holistic Cascade System, benchmark, and Human Evaluation Protocol for Expressive Speech-to-Speech Translation
Meta AI
表达性语音到语音翻译(S2ST)旨在将源语音的韵律属性传递到目标语音,同时保持翻译的准确性。现有的研究表达S2ST是有限的,通常集中在一个单一的表现力方面的时间。同样,这个研究领域缺乏标准的评估协议和精心策划的基准数据集。在这项工作中,我们提出了一个整体的级联系统表达S2ST,结合多种韵律传输技术以前只考虑在隔离。我们在电视剧领域策划了一个基准表现力测试集,并在有声读物领域探索了第二个数据集。最后,我们提出了一个人的评价协议,以评估多个表达层面的语音对。实验结果表明,双语标注器可以评估的质量,在S2ST系统的表达保留,整体建模方法优于单方面系统。音频样本可以通过我们的演示网页访问:https://facebookresearch.github.io/speech_translation/cascade_expressive_s2st。
2023-01-25 cs.CL cs.SD eess.AS
Direct speech-to-speech translation with a sequence-to-sequence model
Google(谷歌)
我们提出了一种基于注意力的序列到序列神经网络,它可以直接将语音从一种语言翻译成另一种语言的语音,而不依赖于中间文本表示。该网络是端到端训练的,学习将语音频谱图映射到另一种语言的目标频谱图,对应于翻译的内容(不同的规范语音)。我们进一步展示了使用源扬声器的声音合成翻译语音的能力。我们在两个西班牙语到英语的语音翻译数据集上进行了实验,发现所提出的模型的性能略低于直接语音到文本翻译模型和文本到语音合成模型的基线级联,证明了该方法在这个非常具有挑战性的任务上的可行性。
2019-06-25 cs.CL cs.LG cs.SD
CVSS-X: A Multilingual Speech-to-Speech Translation Corpus for 28 Languages
Federal University of Goiás(戈亚斯联邦大学);Federal University of Mato Grosso(马托格罗索联邦大学);São Paulo State University(圣保罗州立大学)
CVSS-X是一个大规模合成语音到语音翻译语料库,支持英语到28种语言的翻译,总时长超16,000小时,提供标准语音和跨语言克隆两种变体,质量与CVSS相当,促进双向多语种翻译研究。
2026-09-16 cs.CL cs.SD eess.AS
A Unit-based System and Dataset for Expressive Direct Speech-to-Speech Translation
Tsinghua University(清华大学);ByteDance(字节跳动)
本文针对语音翻译忽略副语言信息的问题,构建了精确匹配的多语言电影数据集,并结合多种韵律迁移技术,提出一种直接语音到语音翻译系统,在保持准确性与自然度的同时有效保留了副语言细节。
2025-02-01 cs.CL cs.CV cs.MM
End-to-End Speech Translation for Code Switched Speech
Johns Hopkins University(约翰斯·霍普金斯大学);Apple(苹果公司)
语码转换是指不同语言中的词汇和短语在语言交际中相互转换的现象。由于底层系统通常是单语的,CS可能会对NLP的准确性提出重大挑战。在这项工作中,我们专注于CS在英语/西班牙语会话的语音翻译(ST)的任务,生成和评估成绩单和翻译的背景下。为了评估模型在这项任务上的性能,我们创建了一个新的ST语料库,来自现有的公共数据集。我们在两个维度上探索各种ST架构:级联(转录然后翻译)与端到端(联合转录和翻译)以及单向(源->目标)与双向(源<->目标)。我们表明,我们的ST架构,特别是我们的双向端到端架构,执行CS语音,即使没有CS训练数据使用。
2022-04-11 cs.CL cs.SD eess.AS
Language Models of Spoken Dutch
Katholieke Universiteit Leuven(鲁汶天主教大学);VRT(弗拉芒广播电视台)
在佛兰德斯,所有的电视节目都有字幕。然而,加字幕的过程是非常耗时的过程,并且可以通过在加字幕之前提供在TV节目的音频上运行的语音识别器的输出来加速。当然,如果所采用的语言模型适合于程序的语域和主题,则这种语音识别将执行得更好。我们提出了几个语言模型培训的佛兰德公共服务广播VRT提供的电视节目的字幕。这些数据是在STON项目的背景下收集的,该项目的目的是促进电视节目字幕的制作。一个模型是在所有可用的数据(4600万单词标记)上训练的,但我们也在特定类型的电视节目或领域/主题上训练模型。由于缺乏训练数据,口语的语言模型相当罕见。该语料库的大小对于口语语料库而言相对较大(与例如具有9 M个单词的CGN相比),但是对于语言模型而言仍然相当小。因此,在实践中,建议用在书面语言上训练的大背景语言模型来内插这些模型。这些模型可以在http://www.esat.kuleuven.be/psi/spraak/downloads/上免费下载。
2017-09-12 cs.CL
Adapting End-to-End Speech Recognition for Readable Subtitles
Maastricht University(马斯特里赫特大学)
自动语音识别(ASR)系统主要根据转录准确性进行评估。然而,在某些用例中,例如字幕,逐字转录会降低输出可读性,因为屏幕大小和阅读时间有限。因此,这项工作的重点是ASR与输出压缩,一个任务具有挑战性的监督方法,由于缺乏训练数据。我们首先研究一个级联系统,其中一个无监督的压缩模型被用来后编辑的转录语音。然后,我们比较了几种方法的端到端的语音识别输出长度的限制。实验表明,由于有限的数据远远少于从头开始训练模型所需的数据,我们可以调整基于Transformer的ASR模型,以结合转录和压缩功能。此外,WER和ROUGE分数方面的最佳性能是通过明确建模端到端ASR系统内的长度约束来实现的。
2020-05-25 cs.CL
Everyone deserves their voice to be heard: Analyzing Predictive Gender Bias in ASR Models Applied to Dutch Speech Data
Eindhoven University of Technology(埃因霍温理工大学);Netherlands Organisation for Applied Scientific Research (TNO)(荷兰应用科学研究组织(TNO))
本研究分析了 Whisper 模型在荷兰语音数据上的预测性别偏见,发现不同性别群体在所有模型规模下均存在显著的词错误率差异,并探讨了其对自动字幕等服务公平性的影响。
2024-11-14 cs.CL
Robustness of Multi-Source MT to Transcription Errors
Charles University(查理大学);Institute of Formal Applied Linguistics(形式应用语言学研究所);National Institute of Information Communications Technology(国立信息通信技术研究所)
本文研究多源神经机器翻译对语音识别错误的鲁棒性,通过在ESIC语料库上验证英语、德语等多源信息的错误独立性,并在同声翻译场景中证明多源方法能提升翻译质量,为实时同声翻译提供了新思路。
2023-05-26 cs.CL
Fluent Translations from Disfluent Speech in End-to-End Speech Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
由于会话语音现象,特别是不流利的存在,语音的口语翻译应用受到影响。随着端到端语音翻译模型的兴起,之前作为语音识别和机器翻译之间的中间步骤的处理步骤(如不流利消除)需要被纳入模型架构中。我们使用一个序列到序列的模型,从嘈杂的,不流利的语音流畅的文本与不流利使用最近收集的“复制编辑”的参考Fisher西班牙语-英语数据集删除。我们能够直接生成流畅的翻译,并介绍有关如何评估这项任务成功的考虑因素。这项工作为一项新的任务提供了一个基线,即翻译会话语音并联合消除不流利。
2019-06-03 cs.CL
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文介绍了一个新开发的,同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成,分别用于自动语音识别(ASR)、机器翻译(MT)和文本到语音合成(TTS)。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI;Inria(法国国家信息与自动化研究所)
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后,我们比较了解码这些多模式和多语言固定大小表示的不同方法,从而实现语言和模式之间的零镜头翻译(zero-shot translation)。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示,我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是,我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器,我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven(鲁汶大学)
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话,电视字幕是许多类型讲话的丰富的翻译来源。然而,字幕不是语音的逐字(即,精确)翻译,因此它们不能直接用于改进自动语音识别(ASR)模型。我们提出了一个多任务双解码器Transformer模型,共同执行ASR和自动字幕。ASR解码器(可能是预先训练的)预测逐字输出,字幕解码器生成字幕,同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务,并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进,将额外的字幕解码器。该方法不需要预处理(对齐、过滤、伪标记等)。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
近年来,文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而,所有现有的方法都受到两个限制:(a)它们仅从一种输入模态学习,而诸如端到端语音翻译的任务需要语音和文本的统一表示,并且因此,(b)它们不能利用各种大规模文本和语音数据,并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型(FAT-MLM),其从各种类型的语料库(包括用于语音识别和机器翻译的并行数据,甚至纯语音和文本数据)联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内,我们进一步提出了一个融合声学和文本语音翻译(FAT-ST)的端到端模型。三个翻译方向的实验表明,通过FAT-MLM的微调,我们提出的语音翻译模型大大提高了翻译质量,最高可达+5.9 BLEU。
2021-09-14 cs.CL
SimulMT to SimulST: Adapting Simultaneous Text Translation to End-to-End Simultaneous Speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学);Facebook AI(脸书人工智能研究院)
文本同步翻译和端到端语音翻译近年来取得了很大的进展,但很少有人将这些任务结合在一起。我们研究如何适应同步文本翻译方法,如等待k和单调多头注意端到端同步语音翻译通过引入一个预决策模块。详细分析了将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡。我们还设计了一个新的计算感知延迟度量,改编自平均滞后。
2020-11-03 cs.CL
Cross-Lingual Transfer Learning for Speech Translation
针对数据受限下扩展多语言基础模型的语音翻译能力问题,以Whisper为例,利用语音检索揭示其共享语义空间,通过仅英中数据微调解码器,实现零样本跨语言迁移并提升多语言到中文的翻译性能。
2025-02-11 cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University(海德堡大学);Computational Linguistics(计算语言学);IWR Heidelberg University(海德堡大学IWR研究所)
我们提出了一个语料库的德语音频,德语文本,英语翻译,德语有声读物的基础上,对齐的三元组。语音翻译数据由110小时的音频材料组成,与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音,因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查,表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当,并且可以通过自动对齐分数的截止值进行调整。据我们所知,该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
Towards Fluent Translations from Disfluent Speech
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
当从语音翻译时,需要特别考虑会话语音现象,如不流利。大多数机器翻译训练数据由格式良好的书面文本组成,在翻译自发语音时会导致问题。以前的工作在语音识别(ASR)和机器翻译(MT)之间引入了一个中间步骤,以消除不流畅,使数据更好地匹配典型的翻译文本,并显着提高性能。然而,随着端到端语音翻译系统的兴起,这个中间步骤必须被纳入序列到序列架构中。此外,尽管存在翻译的语音数据集,但它们通常是没有许多不流利的新闻或排练的语音(例如TED),或者不流利被翻译成参考文献(例如Fisher)。为了从不流利的语音中生成干净的翻译,需要对干净的引用进行评估。我们介绍了一个语料库的Fisher西班牙语-英语数据集的清理目标数据为这项任务。我们比较了不同的架构如何处理不流畅,并为消除端到端翻译中的不流畅提供了一个基线。
2018-11-07 cs.CL
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University(查尔斯大学);Faculty of Mathematics and Physics(数学与物理系);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文提出结合预训练语音编码器与LLMs的端到端架构,同时执行ASR和ST任务,在英德翻译中超越SeamlessM4T并匹敌级联系统,COMET指标提升达8%。
2025-10-11 cs.CL
Automatic Labelling of Speech Translation Errors
Charles University(查尔斯大学);University of Edinburgh(爱丁堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对语音翻译缺乏置信度评估方法的问题,提出STEL标注协议,通过文本和多模态系统分析,发现直接语音处理对任务必要且与文本系统互补。
2026-06-04 cs.CL
SpeechQE: Estimating the Quality of Direct Speech Translation
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对语音翻译质量估计研究不足的问题,该工作定义SpeechQE任务、构建基准,提出利用预训练文本LLM的端到端系统,验证其优于级联文本质量估计系统,并发布数据模型推动相关研究。
2024-10-28 cs.CL
Towards speech-to-text translation without speech recognition
University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们探讨了在低资源情况下将语音翻译成文本的问题,在这种情况下,既没有自动语音识别(ASR),也没有机器翻译(MT),但我们有音频形式的训练数据与文本翻译配对。我们提出了这个问题的第一个系统应用到一个现实的多说话者数据集,CALLHOME西班牙语-英语语音翻译语料库。我们的方法使用无监督术语发现(UTD)来聚类音频中的重复模式,创建一个伪文本,我们将其与翻译配对以创建一个并行文本,并训练一个简单的词袋MT模型。我们确定了系统所面临的挑战,发现跨扬声器UTD的困难导致召回率低,但我们的系统仍然能够正确翻译测试数据中的一些内容词。
2017-02-13 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法,联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据,并且(自)监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务,以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别,分别,以减轻子任务的干扰。实验结果表明,该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进,并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI(穆罕默德·本·拉希德智能技术研究所)
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术,实现英语语音转录与阿拉伯语音输出的跨语言翻译,保留情感细微差别。
2026-02-01 cs.CL
ArzEn-ST: A Three-way Speech Translation Corpus for Code-Switched Egyptian Arabic - English
New York University Abu Dhabi(纽约大学阿布扎比分校);University of Stuttgart(斯图加特大学);The German University in Cairo(开罗德国大学)
我们提出了我们的工作,收集ArzEn-ST,代码转换埃及阿拉伯语-英语语音翻译语料库。该语料库是ArzEn语音语料库的扩展,该语料库是通过对双语者的非正式采访收集的。在这项工作中,我们收集了两个方向的翻译,单语埃及阿拉伯语和单语英语,形成了一个三向语音翻译语料库。我们公开提供翻译指南和语料库。我们还报告了用于机器翻译和语音翻译任务的基线系统的结果。我们相信这是一个有价值的资源,可以激励和促进进一步的研究从语言学的角度来研究语码转换现象,并可用于训练和评估自然语言处理系统。
2022-11-22 cs.CL
Cross-lingual topic prediction for speech using translations
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Stellenbosch University(斯泰伦博斯大学)
在低资源语言中有大量未注释的语音,我们能否按主题对语音进行分类?我们在低资源语言的少量语音与高资源语言的文本翻译配对的情况下考虑这个问题。我们开发了一个有效的跨语言主题分类器,通过使用最近的直接语音到文本翻译模型,对20小时的翻译语音进行训练。虽然翻译很差,但它们仍然足够好,可以在70%的时间内正确分类1分钟语音片段的主题-比多数类基线提高20%。这样的系统可能对人道主义应用有用,如危机应对,在这种情况下,必须快速评估以外国低资源语言输入的语音,以便采取进一步行动。
2020-03-29 cs.CL
What does it take to get state of the art in simultaneous speech-to-speech translation?
toby(托比)
该研究针对同声语音翻译模型中幻觉引发的延迟尖峰问题,通过系统实验各类输入参数与条件提出优化方法,证实精细输入管理结合策略性参数调整可显著改善模型延迟表现。
2024-09-14 cs.CL
Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University(海德堡大学);Computational Linguistics(计算语言学);IWR, Heidelberg University(海德堡大学IWR研究所)
针对直接语音翻译数据稀缺问题,提出带循环反馈的ASR-MT级联模型,通过自训练优化ASR、微调MT提升拼写容忍度,在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
On Knowledge Distillation for Direct Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);AppTek
直接语音翻译(ST)已被证明是一个复杂的任务,需要从它的子任务:自动语音识别(ASR)和机器翻译(MT)的知识转移。对于机器翻译来说,知识蒸馏是最有前途的知识转移技术之一。在本文中,我们比较了不同的解决方案,以提取知识的序列到序列的任务,如ST。此外,我们分析了这种方法的最终缺点,以及如何减轻他们保持翻译质量方面的好处。
2020-12-09 cs.CL
End-to-End Automatic Speech Translation of Audiobooks
Univ. Grenoble-Alpes(格勒诺布尔-阿尔卑斯大学);Univ. Lille(里尔大学)
我们调查了端到端的语音到文本的翻译语料库的有声读物专门增强这项任务。以前的作品研究了极端的情况下,源语言转录是不可用的学习,也没有解码,但我们也研究了一个中途的情况下,源语言转录只在训练时间。在这种情况下,单个模型被训练成在单遍中将源语音解码成目标文本。实验结果表明,在该系统中可以训练出紧凑高效的端到端语音翻译模型。我们还分发了语料库,并希望我们在这个语料库上的语音翻译基线将在未来受到挑战。
2018-02-12 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team(Index LLM 团队)
Index-Translate是一个多语言翻译模型家族,通过共享基础与专门训练结合,在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
Spoken Language Translation for Polish
Polish-Japanese Institute of Information Technology(波兰-日本信息技术学院)
在日益全球化的世界中,口语翻译(英语:Spoken language translation)无论从社会还是经济的角度来看都变得越来越重要。它是自动语音识别(ASR)和机器翻译(MT)的主要挑战之一,推动了这些领域的激烈研究活动。由于技术限制,过去的研究主要是在受控条件下记录的语音,而今天的主要挑战是翻译口语,因为它可以在现实生活中找到。考虑的应用场景范围从便携式翻译器为游客,讲座和演示文稿翻译,广播新闻和节目与现场字幕。我们希望介绍PJIIT在欧盟桥梁第七框架项目和U-Star联盟波兰语/英语对活动中获得的经验。目前的研究集中在波兰语的ASR适应(最先进的声学模型:DBN-BLSTM训练,Kaldi:LDA+MLLT+SAT+MMI),ASR和MT的语言建模(文本规范化,基于RNN的LM,n-gram模型域插值)和统计翻译技术(分层模型,因子翻译模型,自动装箱和标点符号,可比和双语语料库准备)。虽然定义明确的领域(旅行者短语,议会演讲,医疗文档,电影字幕)的结果非常令人鼓舞,但定义较少的领域(演讲,讲座)仍然是一个挑战。我们将介绍我们在IWWWTED任务(仅MT)中的进展,以及波兰ASR的当前进展。
2015-11-24 cs.CL
Enhancing Entertainment Translation for Indian Languages using Adaptive Context, Style and LLMs
Sony Research India(索尼印度研究院)
本文提出首个娱乐翻译框架,通过估计会话上下文与风格来生成提示并引导LLM翻译,在多种LLM上显著提升COMET分数和胜率。
2024-12-29 cs.CL
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息,这忽略了语音和文本模态的差异,使编码器过载,导致学习这样的模型非常困难。为了解决这些问题,我们提出了一个语音到文本适配语音翻译(STAST)模型,其目的是通过弥合语音和文本之间的模态差距,以提高端到端的模型性能。具体来说,我们将语音翻译编码器解耦为三个部分,并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示,我们将基于文本的翻译模型完全集成到STAST中,以便在同一个潜在空间中训练两个任务。此外,我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明,该模型的性能明显优于强基线,达到了新的最先进的性能。
2020-10-28 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI;Inria(法国国家信息与自动化研究所)
该研究针对语音到文本翻译任务,提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练,显著提升了零样本跨模态语音翻译效果,在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
LLaST: Improved End-to-end Speech Translation System Leveraged by Large Language Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai AI Laboratory(上海人工智能实验室);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文提出LLaST框架,通过架构设计、ASR增强训练、多语言数据增强和双LoRA优化,构建高性能LLM语音翻译系统,在CoVoST-2上表现优越。
2024-07-22 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women(卡明斯女子工程学院);Banasthali University(班纳斯塔利大学)
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译,翻译的有效性可以得到提高。我们已经表明,古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
Augmenting Librispeech with French Translations: A Multimodal Corpus for Direct Speech Translation Evaluation
LIG(格勒诺布尔信息学实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);LIDILEM(语言、话语、文本、语言与认知跨学科研究实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
口语翻译(spoken language translation,缩写为EMT)中的最近的工作已经尝试在学习或解码期间不使用源语言转录的情况下构建端到端的语音到文本的翻译。然而,虽然大量的并行文本(例如Europarl、OpenSubtitles)可用于训练机器翻译系统,但是不存在包括与目标语言的文本对齐的源语言的语音的大型(100 h)和开源并行语料库。本文试图填补这一空白,增加现有的(单语)语料库:LibriSpeech。该语料库用于自动语音识别,来自LibriVox项目的有声读物,并经过仔细的分段和对齐。在从LibriSpeech中收集与英语有声读物相对应的法语电子书后,我们将句子级别的语音片段与各自的翻译对齐,并获得236 h的可用并行数据。本文介绍了处理的细节,以及进行人工评估的一个小的子集的语料库。该评估表明,自动对齐分数与双语对齐质量的人类判断合理相关。我们相信,这个语料库(这是在线提供)是有用的直接语音翻译或更一般的口语翻译实验的可复制实验。
2018-02-09 cs.CL
Towards Real-World Streaming Speech Translation for Code-Switched Speech
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Apple(苹果公司)
本文聚焦真实世界语码切换语音翻译的流式设置及第三语言翻译,通过扩展Fisher和Miami数据集并训练模型,为离线与流式ST建立基线结果。
2023-10-23 cs.CL
PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)(香港中文大学华为人工智能实验室(莱布尼茨))
PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力,采用三任务学习和模态链方法,结合自我采样和回译生成偏好对,最终通过偏好优化提升翻译性能。
2026-01-23 cs.CL