u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Learning Video Temporal Dynamics with Cross-Modal Attention for Robust Audio-Visual Speech Recognition
Kim Jaechul Graduate School of AI, KAIST（KAIST 金在哲人工智能研究生院）；School of Electrical Engineering, KAIST（KAIST 电气工程学院）
本研究通过学习视频上下文顺序、播放方向和帧速度三种时间动态，并结合跨模态注意力模块用音频信息丰富视频特征，在LRS2和LRS3基准的噪声主导设置下实现了最先进的音视频语音识别性能。
2024-10-14 cs.CL cs.LG eess.AS
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart（斯图加特大学）
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据，但是整个系统遭受错误传播。在本文中，我们提出了一种新的训练方法，使预训练的上下文嵌入处理声学特征。特别是，我们扩展它与编码器的预训练语音识别系统，以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架，跨越语音和文本形式，对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明，我们的系统达到了与流水线架构相当的性能，而不使用任何训练数据，并在三个基准测试中的两个上进行了每类十个示例的微调后，性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
Understanding the Modality Gap: An Empirical Study on the Speech-Text Alignment Mechanism of Large Speech Language Models
Beike Inc.（贝克公司）；Bairong Inc.（柏睿公司）
本研究通过实证分析揭示大型语音语言模型中语音与文本输入间的模态差距，提出对齐路径分数量化词元级对齐，并设计干预策略以提升语音输入正确性。
2025-10-14 cs.AI cs.CL
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
MAESTRO: Matched Speech Text Representations through Modality Matching
Google, Inc.（谷歌公司）
我们提出了Maestro，这是一种自我监督的训练方法，可以统一从语音和文本模态中学习到的表示。从语音信号的自监督学习旨在学习信号中固有的潜在结构，而从文本的自监督学习试图捕获词汇信息。从不成对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。以前的工作要么隐含地强制执行的表示从这两个模态对齐的潜在空间，通过多任务和参数共享或明确地通过转换的方式通过语音合成。前者受到两种模式之间的干扰，后者则带来更多的复杂性。在本文中，我们提出了Maestro，一种新的算法，从这两种模态同时学习统一的表示，可以转移到不同的下游任务，如自动语音识别（ASR）和语音翻译（ST）。Maestro通过序列对齐、持续时间预测和匹配嵌入来学习统一表示，这些嵌入是通过对齐的掩蔽语言模型损失来学习的。我们在VoxPopuli多语言ASR上建立了一个新的最先进的（SOTA），Word出错率（WER）相对降低了8%，多域SpeechStew ASR（相对降低了3.7%）和CoVoST 2上的英语多语言ST的21种语言，平均比21种语言提高了2.8 BLEU。
2022-07-01 cs.CL cs.SD eess.AS
Zipper: A Multi-Tower Decoder Architecture for Fusing Modalities
Google DeepMind（谷歌DeepMind）
提出多塔解码器架构Zipper，通过交叉注意力融合独立预训练的单模态解码器，在有限对齐数据下实现高效的多模态生成，同时保持单模态性能。
2024-05-31 cs.AI cs.CL cs.LG
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出结合预训练语音编码器与LLMs的端到端架构，同时执行ASR和ST任务，在英德翻译中超越SeamlessM4T并匹敌级联系统，COMET指标提升达8%。
2025-10-11 cs.CL
Quantifying the Generation Modality Gap in Speech-Text Language Models
TTI-Chicago（芝加哥丰田技术研究所）；Stony Brook University（石溪大学）
本研究量化了语音-文本语言模型与纯语音模型在生成上的模态差距，发现联合建模显著提升语义连贯性，且文本提供高效语义训练信号。
2026-11-11 cs.CL
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Discriminative Multi-modality Speech Recognition
Xpeng motors（小鹏汽车）
视觉通常被用作音频语音识别（ASR）的补充模态，特别是在噪声环境中，其中独奏音频模态的性能显著恶化。结合视觉模态后，ASR升级为多模态语音识别（MSR）。在本文中，我们提出了一个两阶段的语音识别模型。在第一阶段中，目标语音从背景噪声中分离出来，并借助相应的嘴唇运动视觉信息，使模型清晰地“听”。在第二阶段，音频模态再次结合视觉模态，通过MSR子网络更好地理解语音，进一步提高识别率。我们还做了一些其他的重要贡献：我们引入了一个基于伪3D残差卷积（P3 D）的视觉前端来提取更多的区分特征;我们用时间卷积网络（TCN）升级了1D ResNet的时间卷积块，这更适合于时间任务; MSR子网络建立在逐元素注意力门控递归单元（EleAtt-GRU）之上，在长序列中比Transformer更有效。我们在LRS 3-TED和LRW数据集上进行了广泛的实验。我们的两阶段模型（音频增强的多模态语音识别，AE-MSR）始终达到了最先进的性能，由一个显着的利润，这表明了AE-MSR的必要性和有效性。
2020-05-13 cs.CL cs.CV cs.SD
Modality Attention for End-to-End Audio-visual Speech Recognition
Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
视听语音识别（AVSR）系统被认为是解决鲁棒语音识别的最有前途的方案之一，尤其是在噪声环境下。在本文中，我们提出了一种新的多模态注意的视听语音识别方法，可以自动学习融合表示从两个模态的重要性的基础上。我们的方法是使用最先进的序列到序列（Seq2seq）架构实现的。实验结果表明，从2%到36%的相对改善，单独的听觉模态获得取决于不同的信号噪声比（SNR）。与传统的特征拼接方法相比，我们提出的方法可以实现更好的识别性能在干净和噪声条件下。我们相信，基于通道注意的端到端方法可以很容易地推广到其他多通道任务的相关信息。
2019-04-23 cs.CL cs.CV cs.SD
Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation
Alibaba DAMO Academy（阿里巴巴达摩院）
端到端语音翻译的目的是将源语言的语音翻译成目标语言的文本而不产生中间译文。然而，端到端方法的训练依赖于并行ST数据，这是困难和昂贵的获得。幸运的是，自动语音识别（ASR）和机器翻译（MT）的监督数据通常更容易获得，这使得zero-shot语音翻译成为一个潜在的方向。现有的zero-shot方法无法将语音和文本这两种模态对齐到共享的语义空间中，导致与有监督ST方法相比性能差得多。为了使zero-shot ST，我们提出了一种新的离散跨模态对齐（DCMA）方法，采用共享的离散词汇空间，以适应和匹配语音和文本的模态。具体来说，我们引入了一个矢量量化模块，将语音和文本的连续表示离散化为一个有限的虚拟令牌集，并使用ASR数据将相应的语音和文本映射到共享码本中的同一个虚拟令牌。这样，源语言语音可以被嵌入到与源语言文本相同的语义空间中，然后可以使用MT模块将其转换为目标语言文本。多语言对的实验表明，我们的zero-shot ST方法显着提高了SOTA，甚至表现出与强监督ST基线。
2022-10-18 cs.CL cs.SD eess.AS
Multi-modal Speech Transformer Decoders: When Do Multiple Modalities Improve Accuracy?
本文研究了多模态对语音识别准确率的影响，发现结合音频、图像和唇部信息可提升识别效果，图像在中等噪声下收益最大，且过滤相关视觉信息能进一步提升合成与真实数据集上的性能。
2025-03-28 cs.CL cs.CV cs.MM
Opportunities & Challenges In Automatic Speech Recognition
GHRCE；S. G. B. Amaravati University（S. G. B. 阿马拉瓦蒂大学）
自动语音识别能够实现广泛的当前和新兴应用，例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度，对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性：在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战，采取的方法，以及未来的研究可能的方向，以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
Bridging the Gaps of Both Modality and Language: Synchronous Bilingual CTC for Speech Translation and Speech Recognition
Harbin Engineering University（哈尔滨工程大学）；Northeastern University（东北大学）；ByteDance（字节跳动）；NiuTrans Research（小牛翻译研究院）
本文提出同步双语CTC框架，以转录和翻译为并行目标同时弥合模态与语言鸿沟，其增强变体BiL-CTC+在MuST-C语音翻译基准上取得最优性能，并显著提升语音识别效果。
2023-09-21 cs.CL eess.AS
OpenSR: Open-Modality Speech Recognition via Maintaining Multi-Modality Alignment
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
针对新领域语音识别标注语料不足的问题，提出OpenSR系统，通过维持预训练音素空间多模态对齐实现零样本模态迁移，结合聚类提示调优应对领域偏移，在LRS2上取得SOTA性能。
2023-06-10 cs.CL cs.CV
Ichigo: Mixed-Modal Early-Fusion Realtime Voice Assistant
Menlo Research（门洛研究所）
本文提出混合模态实时语音助手Ichigo，采用tokenized早期融合与统一transformer架构实现跨模态联合推理，在语音问答基准上达到SOTA且首token延迟仅111ms，为小团队提供开源框架。
2025-04-04 cs.CL cs.SD eess.AS
Automatic Screening for Children with Speech Disorder using Automatic Speech Recognition: Opportunities and Challenges
University at Buffalo（布法罗大学）；Nichols School（尼科尔斯学校）；Thomas Jefferson High School for Science & Technology（托马斯·杰斐逊科技高中）；Langley High School（兰利高中）
本文综述了基于自动语音识别（ASR）技术自动化儿童言语语言评估（SLA）流程的现有方法，探讨了AI驱动方案的技术可行性、实际部署挑战及隐私问题。
2024-10-07 cs.CL eess.AS q-bio.QM
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI（亚马逊AWS人工智能）
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练（PIT），因此分离的语音块的顺序是不确定的，并且导致难以准确地拼接同质说话者块用于下游任务，如自动语音识别（ASR）。此外，大多数这些模型都是用合成混合物训练的，不能推广到真实的会话数据。在本文中，我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序，而不需要额外的拼接步骤。我们还介绍了一个数据采样策略，真正的和合成的混合物，以及推广到真正的对话语音。有了这个模型和数据采样技术，我们在Hub 5数据上显示了说话者归因的单词错误率（SA-WER）的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
Efficient Training for Cross-lingual Speech Language Models
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所智能信息处理重点实验室）；State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出CSLM，通过离散语音标记实现多语言语音大模型的高效训练，采用持续预训练策略提升模态对齐质量，减少延迟，展现良好的语言扩展能力。
2026-04-13 cs.AI cs.CL cs.SD
Cross-Modal Mutual Learning for Cued Speech Recognition
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
自动提示语音识别（ACSR）为视觉通信提供智能人机界面，其中提示语音（CS）系统利用嘴唇运动和手势来为听力受损的人编码口语。以前的ACSR方法通常利用直接特征级联作为主要的融合范例。然而，异步模式，即，嘴唇、手的形状和手的位置）可能会对特征连接造成干扰。为了解决这个问题，我们提出了一个基于Transformer的跨模态交互学习框架，以促进多模态交互。与香草自我注意相比，我们的模型迫使不同模态的模态特定信息通过模态不变码本，整理每个模态的标记的语言表示。然后，共享的语言知识被用来重新同步多模态序列。此外，我们建立了一个新的大规模多说话人CS数据集的普通话。据我们所知，这是第一个工作的ACSR为普通话。针对不同的语言进行了广泛的实验，即，中文、法文和英式英语）。结果表明，我们的模型表现出优越的识别性能，以国家的最先进的大幅度。
2023-02-27 cs.CL cs.CV cs.SD
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo（纽约州立大学布法罗分校）
针对儿童语音ASR缺乏高质量对齐数据的问题，提出灵活自动语音对齐工具FASA，从含噪数据中提取高质量对齐儿童语音，在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Speech Recognition Rescoring with Large Speech-Text Foundation Models
Amazon Science（亚马逊科学研究院）
本文提出利用多模态大型语言模型进行ASR重打分的新技术，结合判别式训练与跨模态知识迁移，实验证明其相对Whisper large ASR和纯文本LLM分别实现高达20%和15%的提升。
2024-09-25 cs.CL cs.SD eess.AS
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory（信号处理与语音通信实验室）；Speech Communication Laboratory（语音通信实验室）
本文提出一种结合突显检测的突显感知自动语音识别方法，通过微调wav2vec2模型标注语料并训练新型ASR系统，在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
Speech to Text Adaptation: Towards an Efficient Cross-Modal Distillation
Seoul National University（首尔国立大学）；Search Solution Inc.（搜索解决方案公司）
言语是最有效的交际手段之一，它所包含的信息有助于表达者思想的传递。然而，主要由于声学特征的繁琐处理，音素或词的后验概率经常被丢弃在理解自然语言。因此，一些最近的口语语言理解（SLU）模块已经利用了保存不确定性信息的端到端结构。这进一步减少了语音识别误差的传播并保证了计算效率。我们认为，在这个过程中，语音理解可以受益于大量的预训练语言模型（LM）的推理。我们将知识从一个具体的基于transformer的文本LM转移到一个SLU模块，该模块可能面临数据短缺，基于最近的跨模态蒸馏方法。我们证明了我们的建议的有效性上的表现流利的语音命令，英语SLU基准。因此，我们通过实验验证了我们的假设，即知识可以从LM的顶层共享到一个完全基于语音的模块，其中抽象的语音预计将满足语义表示。
2020-08-08 cs.CL cs.SD eess.AS
Speech-text based multi-modal training with bidirectional attention for improved speech recognition
Xinjiang University（新疆大学）；Bytedance AI Lab（字节跳动人工智能实验室）；Nanyang Technological University（南洋理工大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
为了让最先进的端到端ASR模型享受数据效率，以及通过多模式训练获得更多的未配对文本数据，需要解决两个问题：1）语音和语言（又名文本数据）之间特征采样率的同步性; 2）来自两个编码器的学习表示的同质性。在本文中，我们提出采用一种新的双向注意机制（BiAM），共同学习ASR编码器（底层）和文本编码器的多模态学习方法。BiAM是为了方便特征采样率的交换，实现转换后的一种特征在另一个空间中的测量质量，具有多样化的目标函数。因此，语音表示富含更多的语言信息，而文本编码器生成的表示与相应的语音表示更相似，因此共享的ASR模型更适合于不成对的文本数据预训练。为了验证所提出的方法的有效性，我们进行了两类实验，有或没有额外的不成对的文本数据。在Librispeech语料库上的实验结果表明，该方法在仅使用配对数据学习的情况下，可以达到6.15%的词错误率降低，而在使用更多的非配对文本数据学习的情况下，可以达到9.23%的词错误率降低。
2022-11-01 cs.CL cs.SD eess.AS
Cloud-based Automatic Speech Recognition Systems for Southeast Asian Languages
Institute for Infocomm Research（资讯通信研究院）
本文全面介绍了我们的东南亚语言自动语音识别（ASR）系统。由于没有太多的现有工作已经进行了这样的区域语言，一些困难应该得到解决之前，建立系统：语音和文本资源的限制，缺乏语言知识，等这项工作以印度尼西亚语和泰国为例，说明收集所需的各种资源建设ASR系统的策略。
2022-10-07 cs.CL eess.AS
Automatic speech recognition for launch control center communication using recurrent neural networks with data augmentation and custom language model
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
在美国宇航局的发射控制中心转录语音通信对信息利用很重要。然而，由于缺乏训练数据、首字母缩略词中的陌生单词、多个不同的说话者和口音以及说话的会话特征，在这种环境中的自动语音识别特别具有挑战性。我们使用双向深度循环神经网络来训练和测试语音识别性能。我们表明，数据增强和自定义语言模型可以提高语音识别的准确性。转录来自发射控制中心的通信将有助于机器分析信息并加速知识生成。
2018-04-24 cs.CL cs.HC
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Automatic Restoration of Diacritics for Speech Data Sets
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Princess Nourah Bint Abdulrahman University（努拉·本特·阿卜杜勒拉赫曼公主大学）
针对文本变音符号恢复模型在语音转录上因领域与风格差异而错误率较高的问题，本文利用并行口语语句，通过微调 Whisper ASR 生成粗略带符转录作为辅助输入，构建并验证了新的语音变音符号恢复基线。
2024-04-07 cs.CL cs.SD
PhoWhisper: Automatic Speech Recognition for Vietnamese
VinAI Research（VinAI研究院）
本文提出五个版本的PhoWhisper，通过在844小时多口音越南语数据上微调Whisper，在越南语ASR基准上取得最先进性能并开源。
2024-03-27 cs.CL eess.AS
SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
单通道预训练的快速发展促使研究者更加关注跨通道预训练方法。在本文中，我们提出了一个统一的模态语音单元文本预训练模型，SpeechUT，连接语音编码器和文本解码器的表示与共享的单元编码器。利用隐藏单元作为对齐语音和文本的接口，我们可以将语音到文本模型分解为语音到单元模型和单元到文本模型，它们可以分别使用未配对的语音和文本数据进行联合预训练。我们提出的SpeechUT是微调和自动语音识别（ASR）和语音翻译（ST）的任务进行评估。实验结果表明，SpeechUT在强基线上得到了实质性的改进，并在LibriSpeech ASR和MuST-C ST任务上实现了最先进的性能。为了更好地理解建议的演讲稿，进行了详细的分析。代码和预训练模型可在https://aka.ms/SpeechUT上获得。
2022-10-07 cs.CL eess.AS
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列，导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译（AST）的任务，以及低资源英语自动语音识别（ASR）的任务。此外，在消融中，我们展示了增强数据的数量和多样性的好处。最后，我们表明，我们可以结合我们的方法与增强机器翻译的成绩单，以获得一个有竞争力的端到端AST模型，优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般，它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
MLLM-based Speech Recognition: When and How is Multimodality Beneficial?
Worcester Polytechnic Institute（沃斯特理工学院）
该研究探究多模态大语言模型提升噪声环境下语音识别准确率的条件与架构，通过实验明确了模态类型、噪声水平、视觉表征质量等因素的影响规律，为多模态语音识别的实际应用提供了参考。
2025-07-25 cs.CL cs.MM cs.SD
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出一种基于跨模态对话表示的对话ASR系统，通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性，在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
利用上下文信息是提高会话式自动语音识别（ASR）性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境，由于历史认知错误的不可避免，这可能会使当前公认的假设产生偏差。为了避免这个问题，我们提出了一个音频文本跨模态表示提取器，直接从前面的语音学习上下文表示。具体来说，它由两个模态相关编码器和一个跨模态编码器组成，前者从语音和相应的文本中提取高级潜在特征，后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此，该模型不仅捕获特定模态中的双向上下文依赖性，而且捕获不同模态之间的关系。然后，在会话式ASR系统的训练期间，提取器将被冻结以提取先前语音的文本表示，而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性，并在MagicData数据集上实现了高达16%的字符错误率（CER）降低。
2022-07-03 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
针对低质量视频下端到端视听语音识别性能提升有限的问题，提出基于唇形-音节子词关联的视觉预训练与音频引导跨模态融合编码器，在少量数据下实现优于当前最优系统的性能。
2024-03-09 cs.AI cs.CL cs.SD
SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities
Fudan University（复旦大学）
针对现有语音语言模型级联范式阻碍模态间知识迁移的问题，提出SpeechGPT，通过构建大规模跨模态指令数据集并采用三阶段训练策略，赋予大型语言模型内在的跨模态对话能力，实现单模型对多模态指令的遵循与处理。
2023-05-19 cs.CL
Bridging Modalities: Enhancing Cross-Modality Hate Speech Detection with Few-Shot In-Context Learning
Singapore University of Technology and Design（新加坡科技设计大学）
针对跨模态仇恨言论检测能力迁移不足的问题，本研究利用大语言模型少样本上下文学习开展实验，证实文本仇恨样本可提升视觉-语言仇恨分类准确率，且文本示例效果更优，为检测系统优化提供了思路。
2024-10-08 cs.CL
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活，揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
QUARC: Quaternion Multi-Modal Fusion Architecture For Hate Speech Classification
School of Computer Sciences, NISER（国家科学教育与研究院计算机科学学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
仇恨言论在社交媒体时代很常见，有时无害，但也会对某人造成精神创伤，甚至在社区中引发骚乱。带有贬损性评论的宗教符号图像或一名男子滥用特定社区的视频都成为仇恨言论，其每一种形式（如文本，图像和音频）都有助于它。基于社交媒体上仇恨言论帖子的特定形式的模型是没有用的，相反，我们需要像多模态融合模型这样的模型，在对仇恨言论进行分类时考虑图像和文本。文本图像融合模型是大量参数化的，因此，我们提出了一个四元数神经网络为基础的模型具有额外的融合组件的每对模式。该模型在MMHS 150K twitter数据集上进行了测试，用于仇恨言论分类。该模型显示参数减少了近75%，并且在存储空间和训练时间方面也使我们受益，同时与真实模型相比，在性能方面也处于同等水平。
2020-12-15 cs.CL cs.LG cs.SD
Cross-Modal Robustness Transfer (CMRT): Training Robust Speech Translation Models Using Adversarial Text
Department of Advanced Computing Sciences（先进计算科学系）
提出跨模态鲁棒性迁移（CMRT）框架，将文本模态的对抗鲁棒性迁移到语音模态，无需生成对抗语音数据，在四个语言对上平均提升超过3个BLEU点。
2026-06-25 cs.CL
RealTalk-CN: A Realistic Chinese Speech-Text Dialogue Benchmark With Cross-Modal Interaction Analysis
TMCC, College of Computer Science, Nankai University（TMCC，计算机科学学院，南开大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
本文提出了首个中文多轮多领域语音-文本双模态任务型对话数据集RealTalk-CN，并设计了跨模态聊天任务以评估语音大模型在真实复杂场景下的鲁棒性与跨领域性能。
2025-08-06 cs.CL
Intra- and Inter-modal Context Interaction Modeling for Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
针对对话语音合成中多模态历史与目标语句交互建模不足的问题，本文提出III-CSS系统，通过四种模态组合和对比学习模块显式建模模态内与模态间交互，在DailyTalk上取得了更优的韵律表现力。
2024-12-25 cs.CL cs.SD eess.AS
Cross-modal Contrastive Learning for Speech Translation
ByteDance（字节跳动）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们如何才能学习口语和书面语的统一表征？学习语义相似的语音和文本的相似表示对于语音翻译是重要的。为此，我们提出了ConST，一种跨模态的对比学习方法，用于端到端的语音到文本翻译。我们在流行的基准测试Must-C上评估ConST和各种以前的基线。实验结果表明，所提出的ConST始终优于以前的方法，并实现了平均BLEU为29.4。分析进一步验证了ConST确实缩小了不同模态的表示差距-其学习表示将跨模态语音文本检索的准确率从4%提高到88%。代码和模型可在https://github.com/ReneeYe/ConST上获得。
2022-05-05 cs.CL eess.AS
Cross-Modal Knowledge Distillation for Speech Large Language Models
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）；Tencent Ethereal Audio Lab, Tencent Corporation, Shenzhen, China（腾讯虚实音频实验室，腾讯公司，深圳，中国）
本文首次系统评估语音大语言模型中的灾难性遗忘与模态不等价问题，并提出跨模态知识蒸馏框架，通过文本和语音双通道迁移教师模型知识，有效保留文本知识并提升语音交互推理能力。
2025-09-18 cs.AI cs.CL
