Intra- and Inter-modal Context Interaction Modeling for Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
针对对话语音合成中多模态历史与目标语句交互建模不足的问题，本文提出III-CSS系统，通过四种模态组合和对比学习模块显式建模模态内与模态间交互，在DailyTalk上取得了更优的韵律表现力。
2024-12-25 cs.CL cs.SD eess.AS
Investigating accuracy of pitch-accent annotations in neural network-based speech synthesis and denoising effects
National Institute of Informatics（国立信息学研究所）；KDDI Research Inc.（KDDI研究所）
我们研究了噪声语言特征对基于WaveNet声码器的神经网络的日语语音合成系统性能的影响。我们比较了一个理想的系统，使用手动校正的语言特征，包括音素和韵律信息的训练和测试集对其他几个系统，使用损坏的语言特征。主观和客观的结果表明，损坏的语言特征，特别是那些在测试集，影响了理想的系统的性能显着的统计意义上，由于训练和测试集之间的不匹配条件。有趣的是，虽然话语级图灵测试表明听众很难区分合成语音和自然语音，但它进一步表明，在训练集中向语言特征添加噪声可以部分减少失配的影响，正则化模型，并帮助系统在测试集的语言特征有噪声时表现得更好。
2018-08-02 cs.CL cs.SD eess.AS
Relational graph-driven differential denoising and diffusion attention fusion for multimodal conversation emotion recognition
College of Computer and Mathematics, Central South University of Forestry and Technology（中南林业科技大学计算机与数学学院）；Department of Computer Science, State University of New York, New Paltz（纽约州立大学新帕尔茨分校计算机科学系）
本文提出关系感知去噪和扩散注意力融合模型，通过微分Transformer去噪、构建模态关系子图和文本引导跨模态扩散机制，提升多模态对话情感识别性能。
2026-03-22 cs.CL cs.SD eess.AS
Improving speech translation by fusing speech and text
Nanjing University（南京大学）；ByteDance（字节跳动）
针对语音与文本间的三层模态差距，提出跨模态模型FST，支持语音、文本及融合输入，通过跨模态对齐技术在多个基准上显著提升语音翻译性能且不损害机器翻译效果。
2023-05-23 cs.CL cs.SD eess.AS
TI-ASU: Toward Robust Automatic Speech Understanding through Text-to-speech Imputation Against Missing Speech Modality
University of Southern California（南加州大学）；Amazon AGI（亚马逊AGI）
针对语音模态缺失场景下的自动语音理解（ASU）问题，提出TI-ASU方法，利用预训练文本转语音模型填补缺失语音。实验表明，在训练语音缺失比例高达95%时该方法仍能显著提升ASU性能，并自适应dropout训练增强推理鲁棒性。
2024-04-27 cs.CL cs.SD eess.AS
BanglaRobustNet: A Hybrid Denoising-Attention Architecture for Robust Bangla Speech Recognition
Department of Computer Science and Engineering（计算机科学与工程系）；Ahsanullah University of Science and Technology（阿沙努拉大学科学与技术学院）
BanglaRobustNet通过融合去噪与注意力机制，提升孟加拉语在嘈杂和说话人多样环境下的语音识别鲁棒性。
2026-01-25 cs.CL cs.CV cs.LG
MAESTRO: Matched Speech Text Representations through Modality Matching
Google, Inc.（谷歌公司）
我们提出了Maestro，这是一种自我监督的训练方法，可以统一从语音和文本模态中学习到的表示。从语音信号的自监督学习旨在学习信号中固有的潜在结构，而从文本的自监督学习试图捕获词汇信息。从不成对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。以前的工作要么隐含地强制执行的表示从这两个模态对齐的潜在空间，通过多任务和参数共享或明确地通过转换的方式通过语音合成。前者受到两种模式之间的干扰，后者则带来更多的复杂性。在本文中，我们提出了Maestro，一种新的算法，从这两种模态同时学习统一的表示，可以转移到不同的下游任务，如自动语音识别（ASR）和语音翻译（ST）。Maestro通过序列对齐、持续时间预测和匹配嵌入来学习统一表示，这些嵌入是通过对齐的掩蔽语言模型损失来学习的。我们在VoxPopuli多语言ASR上建立了一个新的最先进的（SOTA），Word出错率（WER）相对降低了8%，多域SpeechStew ASR（相对降低了3.7%）和CoVoST 2上的英语多语言ST的21种语言，平均比21种语言提高了2.8 BLEU。
2022-07-01 cs.CL cs.SD eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon（亚马逊公司）；Rasa Technologies（Rasa科技公司）
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据，并评估两种说话模式的匹配测试集：无声和模态语音。我们观察到，与模态语音识别相比，来自成像数据的无声语音识别表现不佳，这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术，如fMLLR和无监督模型自适应，来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间，我们计算从超声舌图像中提取的舌样条的凸包。总的来说，我们观察到，沉默语的持续时间比情态语的持续时间长，并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义，但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology（谢里夫理工大学）
针对语音情感识别任务，提出语音到文本的模态转换思路，通过两种转换方法在MELD数据集上验证，其中理想ASR下的方法超越现有语音类SOTA的加权F1得分，展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation
Alibaba DAMO Academy（阿里巴巴达摩院）
端到端语音翻译的目的是将源语言的语音翻译成目标语言的文本而不产生中间译文。然而，端到端方法的训练依赖于并行ST数据，这是困难和昂贵的获得。幸运的是，自动语音识别（ASR）和机器翻译（MT）的监督数据通常更容易获得，这使得zero-shot语音翻译成为一个潜在的方向。现有的zero-shot方法无法将语音和文本这两种模态对齐到共享的语义空间中，导致与有监督ST方法相比性能差得多。为了使zero-shot ST，我们提出了一种新的离散跨模态对齐（DCMA）方法，采用共享的离散词汇空间，以适应和匹配语音和文本的模态。具体来说，我们引入了一个矢量量化模块，将语音和文本的连续表示离散化为一个有限的虚拟令牌集，并使用ASR数据将相应的语音和文本映射到共享码本中的同一个虚拟令牌。这样，源语言语音可以被嵌入到与源语言文本相同的语义空间中，然后可以使用MT模块将其转换为目标语言文本。多语言对的实验表明，我们的zero-shot ST方法显着提高了SOTA，甚至表现出与强监督ST基线。
2022-10-18 cs.CL cs.SD eess.AS
Closing the Modality Reasoning Gap for Speech Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Microsoft Corporation（微软公司）
本文提出TARS框架，通过不对称奖励设计对齐文本和语音条件轨迹，显著缩小模态推理差距并在7B级语音大语言模型中取得最佳性能。
2026-04-20 cs.CL cs.SD eess.AS
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）
受T5（Text-To-Text Transfer Transformer）在预训练自然语言处理模型中的成功启发，我们提出了一个统一模态SpeechT5框架，该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态（语音/文本）的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后，共享的编码器-解码器网络对序列到序列的变换进行建模，然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据，我们对SpeechT5进行了预训练，以学习统一的模态表示，希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中，我们提出了一种跨模态矢量量化方法，该方法将语音/文本状态与潜在单元随机混合，作为编码器和解码器之间的接口。广泛的评估表明，所提出的SpeechT5框架在各种各样的口头语言处理任务，包括自动语音识别，语音合成，语音翻译，语音转换，语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
Ichigo: Mixed-Modal Early-Fusion Realtime Voice Assistant
Menlo Research（门洛研究所）
本文提出混合模态实时语音助手Ichigo，采用tokenized早期融合与统一transformer架构实现跨模态联合推理，在语音问答基准上达到SOTA且首token延迟仅111ms，为小团队提供开源框架。
2025-04-04 cs.CL cs.SD eess.AS
M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation
Monash University（莫纳什大学）
端到端的语音到文本翻译模型通常使用预训练的语音编码器和预训练的文本解码器进行初始化。这导致预训练和微调之间的显著训练间隙，这主要是由于来自编码器的语音输出和到解码器的文本输入之间的模态差异。在这项工作中，我们的目标是弥合语音和文本之间的模态差距，以提高翻译质量。我们提出了M-Adapter，一个新的基于transformer的模块，以适应语音表示文本。在缩小语音序列的同时，M-Adapter通过对语音序列的全局和局部依赖关系进行建模，产生语音到文本翻译所需的特征。我们的实验结果表明，我们的模型在Must-C En $\rightarrow$ DE数据集上的性能优于强基线，最高可达1个BLEU分数。\footnote{Our code is available at https://github.com/mingzi151/w2v2-st.}
2022-07-03 cs.CL cs.LG cs.SD
Soft Alignment of Modality Space for End-to-end Speech Translation
Northeastern University（东北大学）；Harbin Engineering University（哈尔滨工程大学）；NiuTrans Research（纽创科技研究院）
针对端到端语音翻译中模态差异阻碍跨模态跨语言迁移、硬对齐会降低文本表示质量的问题，提出基于对抗训练的软对齐方法，在保留模态质量的同时构建模态不变空间，在MuST-C数据集上表现优于硬对齐且媲美专用翻译模型。
2023-12-18 cs.AI cs.CL cs.SD
CMOT: Cross-modal Mixup via Optimal Transport for Speech Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出CMOT方法，通过最优传输实现语音与文本序列的token级对齐和跨模态混合，在MuST-C基准8个方向上平均BLEU达30.0，有效缓解端到端语音翻译中的模态差距。
2023-05-25 cs.AI cs.CL cs.SD
Cross-modal Contrastive Learning for Speech Translation
ByteDance（字节跳动）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们如何才能学习口语和书面语的统一表征？学习语义相似的语音和文本的相似表示对于语音翻译是重要的。为此，我们提出了ConST，一种跨模态的对比学习方法，用于端到端的语音到文本翻译。我们在流行的基准测试Must-C上评估ConST和各种以前的基线。实验结果表明，所提出的ConST始终优于以前的方法，并实现了平均BLEU为29.4。分析进一步验证了ConST确实缩小了不同模态的表示差距-其学习表示将跨模态语音文本检索的准确率从4%提高到88%。代码和模型可在https://github.com/ReneeYe/ConST上获得。
2022-05-05 cs.CL eess.AS
QUARC: Quaternion Multi-Modal Fusion Architecture For Hate Speech Classification
School of Computer Sciences, NISER（国家科学教育与研究院计算机科学学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
仇恨言论在社交媒体时代很常见，有时无害，但也会对某人造成精神创伤，甚至在社区中引发骚乱。带有贬损性评论的宗教符号图像或一名男子滥用特定社区的视频都成为仇恨言论，其每一种形式（如文本，图像和音频）都有助于它。基于社交媒体上仇恨言论帖子的特定形式的模型是没有用的，相反，我们需要像多模态融合模型这样的模型，在对仇恨言论进行分类时考虑图像和文本。文本图像融合模型是大量参数化的，因此，我们提出了一个四元数神经网络为基础的模型具有额外的融合组件的每对模式。该模型在MMHS 150K twitter数据集上进行了测试，用于仇恨言论分类。该模型显示参数减少了近75%，并且在存储空间和训练时间方面也使我们受益，同时与真实模型相比，在性能方面也处于同等水平。
2020-12-15 cs.CL cs.LG cs.SD
Modality Attention for End-to-End Audio-visual Speech Recognition
Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
视听语音识别（AVSR）系统被认为是解决鲁棒语音识别的最有前途的方案之一，尤其是在噪声环境下。在本文中，我们提出了一种新的多模态注意的视听语音识别方法，可以自动学习融合表示从两个模态的重要性的基础上。我们的方法是使用最先进的序列到序列（Seq2seq）架构实现的。实验结果表明，从2%到36%的相对改善，单独的听觉模态获得取决于不同的信号噪声比（SNR）。与传统的特征拼接方法相比，我们提出的方法可以实现更好的识别性能在干净和噪声条件下。我们相信，基于通道注意的端到端方法可以很容易地推广到其他多通道任务的相关信息。
2019-04-23 cs.CL cs.CV cs.SD
ResGrad: Residual Denoising Diffusion Probabilistic Models for Text to Speech
Renmin University of China（中国人民大学）；University of Science and Technology of China（中国科学技术大学）；South China University of Technology（华南理工大学）；University of Surrey（萨里大学）；MSRA（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）；Imperial College London（帝国理工学院）
去噪扩散概率模型（DDPM）由于其强大的生成高保真样本的能力而在文语转换（TTS）合成中逐渐兴起。然而，由于其在高维数据空间中的迭代求精过程导致推理速度慢，限制了其在实时系统中的应用。以前的作品已经探索了通过最小化推理步骤的数量来加速，但以样本质量为代价。在这项工作中，为了提高基于DDPM的TTS模型的推理速度，同时实现高样本质量，我们提出了ResGrad，这是一种轻量级的扩散模型，可以学习细化现有TTS模型的输出频谱图（例如，FastSpeech 2）通过预测模型输出和相应的地面实况语音之间的残差。ResGrad有几个优点：1）与其他需要从头开始合成语音的DDPM加速方法相比，ResGrad通过将生成目标从地面真实的Mel-spectrogram改为残差，从而降低了任务的复杂度，从而产生了更轻量级的模型，从而降低了实时因素。2)ResGrad以即插即用的方式应用于现有TTS模型的推理过程中，无需重新训练该模型。我们在单扬声器数据集LJSpeech和两个更具挑战性的多扬声器数据集（LibriTTS）和高采样率（VCTK）上验证了ResGrad。实验结果表明，与其他DDPM加速方法相比：1）ResGrad在相同的推理速度下，获得了更好的样本质量; 2）在语音质量相近的情况下，ResGrad的语音合成速度比基线方法快10倍以上。音频样本可在https://resgrad1.github…
2022-12-30 cs.CL cs.LG cs.SD
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Cross-Modal Mutual Learning for Cued Speech Recognition
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
自动提示语音识别（ACSR）为视觉通信提供智能人机界面，其中提示语音（CS）系统利用嘴唇运动和手势来为听力受损的人编码口语。以前的ACSR方法通常利用直接特征级联作为主要的融合范例。然而，异步模式，即，嘴唇、手的形状和手的位置）可能会对特征连接造成干扰。为了解决这个问题，我们提出了一个基于Transformer的跨模态交互学习框架，以促进多模态交互。与香草自我注意相比，我们的模型迫使不同模态的模态特定信息通过模态不变码本，整理每个模态的标记的语言表示。然后，共享的语言知识被用来重新同步多模态序列。此外，我们建立了一个新的大规模多说话人CS数据集的普通话。据我们所知，这是第一个工作的ACSR为普通话。针对不同的语言进行了广泛的实验，即，中文、法文和英式英语）。结果表明，我们的模型表现出优越的识别性能，以国家的最先进的大幅度。
2023-02-27 cs.CL cs.CV cs.SD
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
Discriminative Multi-modality Speech Recognition
Xpeng motors（小鹏汽车）
视觉通常被用作音频语音识别（ASR）的补充模态，特别是在噪声环境中，其中独奏音频模态的性能显著恶化。结合视觉模态后，ASR升级为多模态语音识别（MSR）。在本文中，我们提出了一个两阶段的语音识别模型。在第一阶段中，目标语音从背景噪声中分离出来，并借助相应的嘴唇运动视觉信息，使模型清晰地“听”。在第二阶段，音频模态再次结合视觉模态，通过MSR子网络更好地理解语音，进一步提高识别率。我们还做了一些其他的重要贡献：我们引入了一个基于伪3D残差卷积（P3 D）的视觉前端来提取更多的区分特征;我们用时间卷积网络（TCN）升级了1D ResNet的时间卷积块，这更适合于时间任务; MSR子网络建立在逐元素注意力门控递归单元（EleAtt-GRU）之上，在长序列中比Transformer更有效。我们在LRS 3-TED和LRW数据集上进行了广泛的实验。我们的两阶段模型（音频增强的多模态语音识别，AE-MSR）始终达到了最先进的性能，由一个显着的利润，这表明了AE-MSR的必要性和有效性。
2020-05-13 cs.CL cs.CV cs.SD
Multi-modal Speech Transformer Decoders: When Do Multiple Modalities Improve Accuracy?
本文研究了多模态对语音识别准确率的影响，发现结合音频、图像和唇部信息可提升识别效果，图像在中等噪声下收益最大，且过滤相关视觉信息能进一步提升合成与真实数据集上的性能。
2025-03-28 cs.CL cs.CV cs.MM
SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities
Fudan University（复旦大学）
针对现有语音语言模型级联范式阻碍模态间知识迁移的问题，提出SpeechGPT，通过构建大规模跨模态指令数据集并采用三阶段训练策略，赋予大型语言模型内在的跨模态对话能力，实现单模型对多模态指令的遵循与处理。
2023-05-19 cs.CL
Self-Supervised Learning for Speech Enhancement through Synthesis
Bose Corporation（博士公司）；Georgia Institute of Technology（佐治亚理工学院）
现代语音增强（SE）网络通常通过时频掩蔽、潜在表示掩蔽或区分信号预测来实现噪声抑制。相比之下，最近的一些作品通过生成语音合成探索SE，其中系统的输出在固有的有损特征去噪步骤之后由神经声码器合成。在本文中，我们提出了一种去噪声码器（DeVo）的方法，其中声码器接受嘈杂的表示，并学习直接合成干净的语音。我们利用自监督学习（SSL）语音模型的丰富表示来发现相关特征。我们在15个潜在的SSL前端进行候选搜索，随后训练我们的声码器对抗最好的SSL配置。此外，我们展示了一个因果版本，能够在流媒体音频上运行，延迟10毫秒，性能下降最小。最后，我们进行了客观评估和主观听力研究，以表明我们的系统提高了客观指标，主观上优于现有的最先进的SE模型。
2022-11-04 cs.CL cs.LG cs.SD
Multi-Modal Retrieval For Large Language Model Based Speech Recognition
Amazon（亚马逊公司）
本文提出融合kNN-LM与交叉注意力的多模态检索方法，并在可访问外部信息的ASR任务中验证其相对文本检索和多模态LM基线的显著优势。
2024-06-13 cs.AI cs.CL cs.IR
Bridging Modalities: Enhancing Cross-Modality Hate Speech Detection with Few-Shot In-Context Learning
Singapore University of Technology and Design（新加坡科技设计大学）
针对跨模态仇恨言论检测能力迁移不足的问题，本研究利用大语言模型少样本上下文学习开展实验，证实文本仇恨样本可提升视觉-语言仇恨分类准确率，且文本示例效果更优，为检测系统优化提供了思路。
2024-10-08 cs.CL
Multi-modal Hate Speech Detection using Machine Learning
BRAC University（BRAC大学）
针对单模态仇恨言论检测准确率不足的问题，本研究提出融合图像、音频、文本特征的多模态组合方法，结合机器学习与自然语言处理技术实现视频内容的仇恨言论检测。
2023-06-15 cs.AI cs.CL cs.CV
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活，揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Advancing Speech Summarization in Multi-modal LLMs with Reinforcement Learning
Microsoft CoreAI（微软核心人工智能）
提出多阶段强化学习训练框架，增强多模态大语言模型的语音摘要能力，显著超越强基线和更大模型，缩小与文本大模型的差距。
2025-09-23 cs.AI cs.CL eess.AS
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising
Sun Yat-sen University（中山大学）；The Key Laboratory of Machine Intelligence and Advanced Computing (Sun Yat-sen University), Ministry of Education（机器智能与先进计算教育部重点实验室（中山大学））；JD AI Research（京东人工智能研究院）
BERT型结构导致了视觉语言预训练的革命，并在许多视觉语言下游任务上取得了最先进的结果。现有的解决方案主要利用具有掩码令牌的多模态输入来触发基于掩码的代理预训练任务（例如，掩蔽语言建模和掩蔽对象/帧预测）。在这项工作中，我们认为，这种掩盖的输入将不可避免地引入噪声的跨模态匹配代理任务，从而离开固有的视觉语言关联未被探索。作为替代方案，我们推导出用于视频语言预训练的特定形式的跨模态代理目标，即，对比跨模态匹配和去噪（CoCo）。通过将掩蔽帧/字序列视为主要未掩蔽帧/字序列的噪声增强，CoCo通过以对比的方式同时追求掩蔽和未掩蔽输入之间的模态间匹配和模态内去噪来加强视频-语言关联。我们的CoCo代理目标可以进一步集成到任何BERT类型的编码器-解码器结构中，用于视频语言预训练，称为对比跨模态BERT（CoCo-BERT）。我们在TV数据集和新收集的大规模GIF视频数据集（ACTION）上预训练CoCo-BERT。通过对广泛的下游任务（例如，跨模态检索、视频问答和视频描述），我们证明了CoCo-BERT作为预训练结构的优越性。
2021-12-14 cs.AI cs.CL cs.CV
Cross-Modal Knowledge Distillation for Speech Large Language Models
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）；Tencent Ethereal Audio Lab, Tencent Corporation, Shenzhen, China（腾讯虚实音频实验室，腾讯公司，深圳，中国）
本文首次系统评估语音大语言模型中的灾难性遗忘与模态不等价问题，并提出跨模态知识蒸馏框架，通过文本和语音双通道迁移教师模型知识，有效保留文本知识并提升语音交互推理能力。
2025-09-18 cs.AI cs.CL
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息，这忽略了语音和文本模态的差异，使编码器过载，导致学习这样的模型非常困难。为了解决这些问题，我们提出了一个语音到文本适配语音翻译（STAST）模型，其目的是通过弥合语音和文本之间的模态差距，以提高端到端的模型性能。具体来说，我们将语音翻译编码器解耦为三个部分，并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示，我们将基于文本的翻译模型完全集成到STAST中，以便在同一个潜在空间中训练两个任务。此外，我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明，该模型的性能明显优于强基线，达到了新的最先进的性能。
2020-10-28 cs.CL
Attentive Modality Hopping Mechanism for Speech Emotion Recognition
Seoul National University（首尔大学）；Idiap Research Institute（伊迪亚普研究所）
在这项工作中，我们探讨的影响，除了语音和文本的视觉模态，以提高情感检测系统的准确性。传统的方法通过独立地融合来自各种模态的知识来执行情感分类来解决这个任务。与这些方法相比，我们通过引入注意力机制来组合信息来解决这个问题。在这方面，我们首先应用一个神经网络，以获得隐藏的形式表示。然后，定义注意力机制，以通过对音频和文本数据进行调节来选择和聚集视频数据的重要部分。此外，通过考虑其他模态，注意力机制再次被应用于注意语音和文本数据的重要部分。使用所有三种形式（音频，文本和视频）的标准IEMOCAP数据集上进行实验。所取得的结果表明，3.65%的加权精度相比，基线系统的显着改善。
2020-04-23 cs.CL cs.LG cs.SD
TMT: Tri-Modal Translation between Speech, Image, and Text by Processing Different Modalities as Different Languages
Integrated Vision and Language Lab., School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（整合视觉与语言实验室，电气工程学院，韩国科学技术院（KAIST））；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本文提出三模态翻译模型 TMT，将语音、图像和文本视为不同语言，通过离散 token 化统一接口，以多模态编码器-解码器实现任意模态间翻译，在六个翻译任务上一致优于单模型方法。
2025-06-06 cs.AI cs.CL cs.CV
Cross-Modal Robustness Transfer (CMRT): Training Robust Speech Translation Models Using Adversarial Text
Department of Advanced Computing Sciences（先进计算科学系）
提出跨模态鲁棒性迁移（CMRT）框架，将文本模态的对抗鲁棒性迁移到语音模态，无需生成对抗语音数据，在四个语言对上平均提升超过3个BLEU点。
2026-06-25 cs.CL
RealTalk-CN: A Realistic Chinese Speech-Text Dialogue Benchmark With Cross-Modal Interaction Analysis
TMCC, College of Computer Science, Nankai University（TMCC，计算机科学学院，南开大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
本文提出了首个中文多轮多领域语音-文本双模态任务型对话数据集RealTalk-CN，并设计了跨模态聊天任务以评估语音大模型在真实复杂场景下的鲁棒性与跨领域性能。
2025-08-06 cs.CL
DTW-Align: Bridging the Modality Gap in End-to-End Speech Translation with Dynamic Time Warping Alignment
Department of Advanced Computing Sciences（高级计算科学系）
本文提出DTW-Align方法，在训练期间利用动态时间规整对齐语音与文本嵌入，以更准确、更快速地弥合端到端语音翻译中的模态鸿沟，并在低资源场景下多数语言方向上优于现有方法。
2025-09-23 cs.CL
Understanding the Modality Gap: An Empirical Study on the Speech-Text Alignment Mechanism of Large Speech Language Models
Beike Inc.（贝克公司）；Bairong Inc.（柏睿公司）
本研究通过实证分析揭示大型语音语言模型中语音与文本输入间的模态差距，提出对齐路径分数量化词元级对齐，并设计干预策略以提升语音输入正确性。
2025-10-14 cs.AI cs.CL
MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis
Dartmouth College（达特茅斯学院）
提出MoDAl框架，通过对比学习和对齐损失与去相关损失之间的协同作用，从多脑区发现互补神经模态，在Brain-to-Text Benchmark '24上将词错误率从26.3%降至21.6%。
2026-08-07 cs.CL cs.HC cs.LG
Generation-Step-Aware Framework for Cross-Modal Representation and Control in Multilingual Speech-Text Models
Saarland University（萨尔兰大学）；Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学研究所，萨尔兰信息学园区）
本文提出一个生成步骤感知框架，用于评估多语言语音-文本模型中的跨模态计算，发现跨模态语言对齐在生成初期最强，随后转向模态特定的自回归处理。
2026-08-12 cs.CL
Integrating Feedback Loss from Bi-modal Sarcasm Detector for Sarcastic Speech Synthesis
University of Groningen（格罗宁根大学）；Brown University（布朗大学）；Indian Institute of Technology Indore（印度理工学院印度尔）
本文提出整合双模反讽检测器反馈损失的语音合成方法，通过迁移学习提升合成反讽语音的质量和自然度。
2025-08-18 cs.CL
Cross-Modal Transformer-Based Neural Correction Models for Automatic Speech Recognition
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
提出了一种基于跨模态变换的神经校正模型，该模型对自动语音识别（ASR）系统的输出进行改进，以排除ASR错误。一般来说，神经校正模型由编码器-解码器网络组成，可以直接模拟序列到序列的映射问题。最成功的方法是使用输入语音及其ASR输出文本作为编码器-解码器网络的输入上下文。然而，传统的方法不能考虑这两个不同的模态输入之间的关系，因为输入上下文被单独编码为每个模态。为了有效地利用两个不同模态输入之间的相关信息，我们提出的模型编码两个不同的上下文联合使用Transformer的跨模态自我注意的基础上。我们期望跨通道自我注意能有效地捕捉两个不同通道之间的关系，以完善ASR假设。我们还引入了一种浅层融合技术，有效地整合了第一遍ASR模型和我们提出的神经校正模型。日语自然语言ASR任务的实验表明，我们提出的模型实现了更好的ASR性能比传统的神经校正模型。
2021-07-04 cs.CL cs.LG
MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup for Visual Speech Translation and Recognition
Zhejiang University（浙江大学）
多媒体通信促进了全球人民之间的互动。然而，尽管研究人员探索跨语言翻译技术，如机器翻译和音频语音翻译，以克服语言障碍，仍然是视觉语音的跨语言研究不足。这种研究的缺乏主要是由于缺乏包含视觉语音和翻译文本对的数据集。在本文中，我们提出了\textbf{AVMuST-TED}，第一个数据集\textbf{A} \textbf{V}视觉\textbf{Mu} ltilingual \textbf{S} peech \textbf{T} translation，来自\textbf{TED}会谈。然而，视觉语音不像音频语音那样可区分，使得难以开发从源语音音素到目标语言文本的映射。为了解决这个问题，我们提出了MixSpeech，这是一个跨模态的自学习框架，它利用音频语音来规范视觉语音任务的训练。为了进一步减少跨模态差距及其对知识转移的影响，我们建议采用混合语音，这是通过插入音频和视频流，随着课程学习策略，以调整混合比例需要。MixSpeech增强了嘈杂环境中的语音翻译，将AVMuST-TED上四种语言的BLEU分数提高了+1.4至+4.2。此外，它在CMLR（11.1%），LRS 2（25.5%）和LRS 3（28.0%）上的唇读中达到了最先进的性能。
2023-03-09 cs.CL cs.CV
A Reranker for Orchestrating Heterogeneous Speech and Text Retrievers
Korea Institute of Energy Technology（韩国能源技术研究院）
针对多模态RAG数据库场景，提出STeReO重排序器，构建专用数据集训练后，可有效聚合异构检索结果，显著提升下游问答性能。
2026-08-28 cs.AI cs.CL cs.IR
