Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
Improving Visual Speech Enhancement Network by Learning Audio-visual Affinity with Multi-head Attention
Trinity College Dublin（都柏林圣三一学院）；vivo AI Lab（vivo人工智能实验室）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的有效方法之一。典型的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分利用数据，b）不能有效地平衡视听特征。所提出的模型通过以下方式克服了这些缺点：a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）引入2阶段多头交叉注意（MHCA）机制来推断音频-视觉语音增强，以平衡融合的音频-视觉特征并消除不相关的特征。提出了一种注意力视听多层特征融合模型，在解码器的每一层都采用MHCA单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-06-30 cs.MM cs.SD eess.AS
Intuitive Multilingual Audio-Visual Speech Recognition with a Single-Trained Model
KAIST（韩国科学技术院）
提出一种基于提示微调的单一多语言音视频语音识别模型，通过捕捉语言间相似性与差异实现直观语言区分，减少了对特定语言模型的依赖。
2023-10-23 cs.MM cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能，他们建立在一个战略，以处理预定义的条件，限制其应用在复杂的听觉场景。针对鸡尾酒会问题，提出了一种新的视听语音分离模型。在我们的模型中，我们使用人脸检测器来检测场景中说话者的数量，并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力，未知的扬声器，我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法，并使用此功能来协助语音分离。此外，采用时域方法，避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能，我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验，我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
Google Research（谷歌研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了一个联合视听模型，用于从混合的声音（如其他扬声器和背景噪声）中分离出单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的，并且不提供分离的语音信号与视频中的说话者的关联。在本文中，我们提出了一个基于深度网络的模型，该模型结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的期望扬声器上，并提高语音分离质量。为了训练我们的联合视听模型，我们引入了AVSpeech，这是一个由来自Web的数千小时视频片段组成的新数据集。我们证明了我们的方法的适用性，经典的语音分离任务，以及现实世界中的场景，涉及激烈的采访，嘈杂的酒吧，尖叫的孩子，只需要用户指定的人的脸在视频中的讲话，他们要隔离。在混合语音的情况下，我们的方法比最先进的仅音频语音分离具有明显的优势。此外，我们的模型是独立于说话者的（训练一次，适用于任何说话者），比最近的依赖于说话者的视听语音分离方法（需要为每个感兴趣的说话者训练一个单独的模型）产生更好的结果。
2018-08-09 cs.CV cs.SD eess.AS
Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出带视听对齐目标的mix-and-separate统一框架，构建新数据集，实现视觉场景中混合语音与非语音的同时定位，在多项任务中性能优于或比肩现有方法。
2025-03-24 cs.CV cs.SD eess.AS
On the Audio-visual Synchronization for Lip-to-Speech Synthesis
The Hong Kong University of Science and Technology（香港科技大学）
大多数唇语（LTS）合成模型都是在数据集中的音频-视频对完全同步的假设下进行训练和评估的。在这项工作中，我们表明，常用的视听数据集，如GRID，TCD-TIMIT，和Lip 2 Wav，可以有数据压缩问题。用这样的数据集训练唇到语音可能会进一步导致模型不稳定的问题--也就是说，生成的语音和输入的视频不同步。为了解决这些问题，我们提出了一个同步的唇到语音（SLTS）模型与自动同步机制（ASM），以纠正数据错误和惩罚模型错误。我们进一步证明了通常采用的评估指标的LTS与异步测试数据的局限性，并介绍了一个音频对齐前端之前的指标敏感的时间对齐更好的评估。我们将我们的方法与传统和时间对齐指标的最先进方法进行比较，以显示同步训练的好处。
2023-03-01 cs.CV cs.SD eess.AS
Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues
Institute of Computing Technology, CAS（中国科学院计算技术研究所）
本研究提出双注意力协同框架DualAVSE，通过基于空间注意力的视觉编码器提取唇部外面部线索并忽略无关信息，结合动态视听特征融合策略，有效提升了视听语音增强在多种复杂场景下的性能。
2023-11-24 cs.CV cs.SD eess.AS
Contextual Audio-Visual Switching For Speech Enhancement in Real-World Environments
University of Stirling（斯特灵大学）
人类语音处理本质上是多模态的，其中视觉线索（嘴唇运动）有助于更好地理解噪声中的语音。唇读驱动的语音增强在低信噪比（SNR）下显著优于基准的仅音频方法。然而，在高SNR或低水平的背景噪声，视觉线索变得相当不那么有效的语音增强。因此，需要一种更优化的、上下文感知的视听（AV）系统，该系统上下文地利用视觉和噪声音频特征两者，并且有效地考虑不同的噪声条件。在本文中，我们介绍了一种新的上下文AV切换组件，上下文利用AV线索相对于不同的操作条件来估计干净的音频，而不需要任何SNR估计。切换模块分别在低、高和中等SNR水平下在仅视觉（仅V）、仅音频（仅A）和两个AV提示之间切换。通过集成卷积神经网络和长短期记忆网络来开发上下文AV切换组件。为了测试，估计干净的音频功能，利用开发的新的增强的视觉导出的维纳滤波器的干净的音频功率谱估计。使用基准Grid和ChiME 3语料库在真实场景下对上下文AV语音增强方法进行了评估。对于客观测试，使用语音质量的感知评估来评估恢复语音的质量。对于主观测试，使用标准的平均意见得分方法。关键的分析和比较研究表明，所提出的上下文AV方法，在低和高信噪比的A-只有，V-只有，谱减法，和对数最小均方误差为基础的语音增强方法的优异性能，揭示了它的能力，以解决在任何现实世界的噪声条件下的频谱时间变化。
2018-08-28 cs.CV cs.SD eess.AS
The role of audio-visual integration in the time course of phonetic encoding in self-supervised speech models
Wang Liu Bell University of Edinburgh（王刘贝尔爱丁堡大学）
本研究通过对比AV-HuBERT与纯音频HuBERT的语音可解码性，发现AV-HuBERT未能充分捕捉多模态语音感知的时间动态，限制了对该过程建模的适用性。
2025-06-25 cs.SD eess.AS eess.IV
TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head Translation
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
TransFace提出直接视听语音翻译模型，利用离散单元和Unit2Lip合成器，实现同步翻译并避免级联错误，显著提升同步性和速度。
2023-12-23 cs.CL cs.CV cs.SD
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
基于变分自编码器（VAE）的深层潜变量生成模型在视听语音增强（AVSE）中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据，然后将其与统计噪声模型，以恢复一个语音信号从嘈杂的音频记录和视频（嘴唇图像）的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质，这阻止了它们完全结合视觉数据的力量。在本文中，我们提出了一个视听深度卡尔曼滤波器（AV-DKF）生成模型，假设一阶马尔可夫链模型的潜在变量，并有效地融合视听数据。此外，我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验，比较不同的语音增强生成模型的变体。结果表明，AV-DKF模型的优越性相比，它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
A multimodal dynamical variational autoencoder for audiovisual speech representation learning
CentraleSupélec（中央高等电力学院）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）
本文提出多模态动态VAE（MDVAE），通过两阶段无监督训练解耦视听语音中的静态/动态及模态共有/特有因素，并在情感识别等任务中验证其有效性和优于基线模型的性能。
2024-02-20 cs.LG cs.MM cs.SD
Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London（帝国理工学院）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））；Facebook London（Facebook（伦敦））
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务，如视频动作识别和声学场景分类。然而，自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督（通过预测信息音频属性）与视觉自我监督（通过生成说话的脸从音频）。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能，并且在从较少的标签中学习方面显着优于其他方法。值得注意的是，我们的方法还优于完全监督训练，从而为语音相关任务提供了强大的初始化。我们的研究结果表明，在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition
KAIST（韩国科学技术院）；Genesis Lab Inc.（Genesis Lab公司）
本文主要研究设计一个抗噪声的端到端音视频语音识别系统。为此，我们提出了视觉上下文驱动的音频特征增强模块（V-CAFE），以增强输入的嘈杂的音频语音与视听对应的帮助。所提出的V-CAFE的目的是捕捉过渡的嘴唇运动，即视觉上下文，并通过考虑所获得的视觉上下文生成降噪掩模。通过上下文相关的建模，可以细化视位到音素映射中的歧义以用于掩码生成。噪声表示用噪声降低掩模掩蔽，从而产生增强的音频特征。将增强后的音频特征与视觉特征相融合，并将其引入到由Conformer和Transformer组成的编码器-解码器模型中进行语音识别。我们提出的端到端AVSR与V-CAFE可以进一步提高噪声鲁棒性的AVSR。在噪声语音识别和重叠语音识别实验中，使用两个最大的视听数据集，LRS 2和LRS 3的所提出的方法的有效性进行评估。
2022-07-13 cs.AI cs.CV cs.MM
Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning Language-Agnostic Speech Representations
KAIST（韩国科学技术院）；Imperial College London（伦敦帝国理工学院）
本文提出 Zero-AVSR 框架，通过 AV-Romanizer 学习语言无关语音表示并结合大语言模型，在无目标语言音视频数据条件下实现零样本音视频语音识别。
2025-07-21 cs.CV cs.MM cs.SD
LSTMSE-Net: Long Short Term Speech Enhancement Network for Audio-visual Speech Enhancement
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出LSTMSE-Net这一听觉语音增强方法，通过提取视觉特征并结合音频特征处理，利用多模态数据和插值技术提升性能，在SISDR、STOI、PESQ指标上超过2024年COG-MHEAR AVSE挑战赛基线模型。
2024-09-03 cs.LG cs.MM cs.SD
Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual Speech Separation
Yonsei University（延世大学）；Naver Corporation（Naver公司）；Korea Aerospace University（韩国航空大学）
在本文中，我们解决的问题，分离个人语音信号从视频使用视听神经处理。大多数常规方法利用逐帧匹配准则来提取共现音频与视频之间的共享信息。因此，他们的表现在很大程度上取决于视听同步的准确性和他们的表现的有效性。为了克服由于传输延迟不匹配或抖动导致的两种模态之间的帧不连续问题，我们提出了一种跨模态亲和网络（CaffNet），它可以学习音频和视频流之间的全局对应关系以及局部变化的亲和性。考虑到全局项在话语级的时间序列上提供稳定性，这解决了以不一致分配为特征的标签置换问题。通过在复杂网络上扩展所提出的跨模态亲和度，进一步提高了复谱域的分离性能。实验结果表明，所提出的方法优于传统的各种数据集上，在现实世界的场景中展示了他们的优势。
2021-03-25 cs.CV cs.SD eess.AS
AISHELL6-whisper: A Chinese Mandarin Audio-visual Whisper Speech Dataset with Speech Recognition Baselines
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；Beijing AISHELL Technology Co., Ltd.（北京AISHELL科技有限公司）；AI Center, OPPO（OPPO人工智能中心）
针对汉语普通话视听耳语识别缺乏大规模数据的问题，本文发布含同步面部视频的AISHELL6-Whisper数据集，并提出基于Whisper-Flamingo的AVSR基线，取得领先性能。
2025-09-28 cs.CV cs.MM cs.SD
Audio-Visual Speech Enhancement Using Multimodal Deep Convolutional Neural Networks
Academia Sinica（中央研究院）；National Taiwan University（台湾大学）；Mackay Medical College（马偕医学院）
语音增强的目的是降低语音信号中的噪声。大多数SE技术仅关注于寻址音频信息。在这项工作中，受多模态学习的启发，它利用来自不同模态的数据，以及卷积神经网络（CNN）最近在SE中的成功，我们提出了一个视听深度CNN（AVDCNN）SE模型，它将音频和视频流合并到一个统一的网络模型中。我们还提出了一个多任务学习框架，用于在输出层重建音频和视频信号。准确地说，所提出的AVDCNN模型被构造为视听编码器-解码器网络，其中音频和视频数据首先使用单独的CNN进行处理，然后融合到联合网络中，以在输出层生成增强的语音（主要任务）和重建的图像（次要任务）。该模型以端到端的方式进行训练，并通过反向传播联合学习参数。我们使用五个工具标准来评估增强的语音。结果表明，AVDCNN模型产生了显着优越的性能相比，仅基于音频CNN的SE模型和两个传统的SE方法，确认视觉信息集成到SE过程的有效性。此外，AVDCNN模型也优于现有的视听SE模型，证实了其在SE中有效结合视听信息的能力。
2022-04-18 cs.MM cs.SD eess.AS
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China（电子科技大学）；Defense Innovation Institute, Academy of Military Sciences（国防科技创新研究院）；Peking University（北京大学）；High-tech Institute（高新技术研究所）
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架，结合语音增强技术，在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
If You Hear It, Help Find It: Orthogonal Knowledge Distillation for Open-Vocabulary Audio-Visual Event Localization
Tongji University（同济大学）
针对开放词汇音频-视觉事件定位中教师监督可靠性差异问题，提出可靠性感知的非对称蒸馏框架OV-OrthKD，通过正交损失分离视觉与音频教师投影，在OV-AVEBench上显著提升定位性能。
2026-09-22 cs.CV cs.LG cs.MM
SIMPLE: Semantic Structure-Aligned Prompt Learning for Open-Vocabulary Audio-Visual Event Localization
Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）；Shenzhen University（深圳大学）；United Arab Emirates University（阿联酋大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
针对开放词汇视听事件定位中可学习提示的语义拓扑漂移问题，提出SIMPLE框架，结合LCPT与STCR，在OV-AVEBench上以约一半参数、三分之一训练时间实现SOTA性能。
2026-10-14 cs.MM cs.SD
Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models
KAIST（韩国科学技术院）
提出模块化流式音视频前端AV-STE，在语音LLM前从噪声音频和唇部视频恢复语义令牌，冻结下游模型，提升全双工对话鲁棒性，响应连贯性显著提高。
2026-09-09 cs.AI cs.HC cs.SD
Audio-Visual Speech Enhancement Using Multimodal Deep Convolutional Neural Networks
语音增强的目的是降低语音信号中的噪声。大多数SE技术仅关注于寻址音频信息。在这项工作中，受多模态学习的启发，它利用来自不同模态的数据，以及卷积神经网络（CNN）最近在SE中的成功，我们提出了一个视听深度CNN（AVDCNN）SE模型，它将音频和视频流合并到一个统一的网络模型中。我们还提出了一个多任务学习框架，用于在输出层重建音频和视频信号。准确地说，所提出的AVDCNN模型被构造为视听编码器-解码器网络，其中音频和视频数据首先使用单独的CNN进行处理，然后融合到联合网络中，以在输出层生成增强的语音（主要任务）和重建的图像（次要任务）。该模型以端到端的方式进行训练，并通过反向传播联合学习参数。我们使用五个工具标准来评估增强的语音。结果表明，AVDCNN模型产生了显着优越的性能相比，仅基于音频CNN的SE模型和两个传统的SE方法，确认视觉信息集成到SE过程的有效性。此外，AVDCNN模型也优于现有的视听SE模型，证实了其在SE中有效结合视听信息的能力。
2018-01-24 cs.MM cs.SD stat.ML
OV-InstructTTS: Towards Open-Vocabulary Instruct Text-to-Speech
The State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
OV-InstructTTS通过开放词汇指令和推理驱动框架提升文本到语音的指令遵循和表达性
2026-01-04 cs.SD eess.AS
Using Synthetic Audio to Improve The Recognition of Out-Of-Vocabulary Words in End-To-End ASR Systems
Amazon Alexa（亚马逊Alexa）
今天，许多最先进的自动语音识别（ASR）系统应用全神经模型，该模型将音频映射到沿着一个全局优化标准以完全数据驱动的方式端到端训练的单词序列。这些模型允许对训练材料中表示的域和词进行高精度ASR，但难以识别在训练期间很少或根本没有表示的词，即趋势词和新命名实体。在本文中，我们使用文本到语音（TTS）引擎提供合成音频的词汇表（OOV）的话。我们的目标是通过使用额外的音频文本对来提高循环神经网络转换器（RNN-T）对OOV单词的识别准确率，同时保持对非OOV单词的性能。探索了不同的正则化技术，并通过在编码器上应用弹性权重合并（EWC）对原始训练数据和额外的合成数据进行RNN-T微调来实现最佳性能。这产生了57%的相对字错误率（WER）的话语包含OOV字没有任何退化的整个测试集减少。
2021-02-10 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Large-vocabulary Audio-visual Speech Recognition in Noisy Environments
Ruhr University Bochum（波鸿鲁尔大学）
视听语音识别（AVSR）可以有效地和显着地提高识别率的小词汇量系统，相比他们的纯音频同行。然而，对于大词汇量系统，仍然存在许多困难，例如视频识别精度不令人满意，这使得它很难在仅音频的基础上进行改进。在本文中，我们专门考虑了这种情况，重点是LRS 2数据库的大词汇量任务，其中仅音频性能远远优于仅视频精度，这使得这成为多模态集成的有趣且具有挑战性的设置。为了解决固有的困难，我们提出了一种新的融合策略：一个经常性的集成网络进行训练，融合多个单模态模型的状态后验，一组基于模型和基于信号的流可靠性措施的指导下。在解码过程中，该网络用于混合识别器内的流集成，从而可以处理其多个特征输入的时变可靠性和信息内容。我们将结果与端到端AVSR系统以及具有竞争力的混合基线模型进行比较，发现新的融合策略显示出优越的结果，平均甚至优于Oracle动态流加权，这标志着标准流加权的上限-实际上无法实现。即使纯粹的唇读性能很低，视听整合在所有-干净，嘈杂和混响-条件下都是有帮助的。平均而言，新的系统实现了相对字错误率降低42.18%相比，仅音频模型，在所提出的集成方法的高效率。
2021-09-10 cs.SD eess.AS eess.IV
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team（LongCat团队）；Meituan（美团）
本文提出LongCat-Audio-Codec，一种面向语音大语言模型的音频分词器，通过解耦架构和多阶段训练，实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
Automatic Speech Recognition And Limited Vocabulary: A Survey
University Institute of Technology, University of Ngaoundere（恩冈代雷大学技术学院）；Faculty of Science, University of Ngaoundere（恩冈代雷大学理学院）；Rhodes University（罗兹大学）
自动语音识别（ASR）由于其大量的应用和可以支持语音处理的接口或计算设备的激增而成为活跃的研究领域。然而，大部分应用程序都是基于资源丰富的语言，而资源不足的语言则黯然失色。然而，ASR代表了推广这些语言的不可否认的手段，特别是在设计涉及文盲的人对人或人对机器系统时。设计针对资源不足语言的ASR系统的方法是从有限的词汇开始。使用有限词汇表的ASR是语音识别问题的一个子集，它侧重于识别少量单词或句子。本文旨在提供一个全面的视图ASR系统背后的机制，以及技术，工具，项目，最近的贡献，并在ASR使用有限的词汇未来可能的方向。因此，这项工作提供了一个前进的方向时，设计一个ASR系统使用有限的词汇。尽管重点是词汇量有限，但本调查中报告的大多数工具和技术总体上都可以应用于ASR系统。
2022-03-02 cs.AI cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University（东南大学）；Centre de Recherche en Information Biomédicale Sino-français (CRIBs)（中法生物医学信息研究中心）；The 28th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第二十八研究所）；Univ Rennes（雷恩大学）
在传统的语音去噪任务中，通常使用干净的音频信号作为训练目标，但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点，我们提出了一个端到端的自监督语音去噪训练方案，只使用嘈杂的音频信号，名为Only-Noisy Training（ONT），没有额外的训练条件。该策略仅从单个噪声音频中构造训练对，包含两个模块：训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对，然后送入一个新的复值语音去噪模块。实验结果表明，该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性，而且与其他训练策略相比，其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan（本田研究院日本）；Carnegie Mellon University（卡内基梅隆大学）
本文提出DYNAC，一种将动态词表集成到CTC中间层的自条件非自回归方法，在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
Diarization of Legal Proceedings. Identifying and Transcribing Judicial Speech from Recorded Court Audio
New York University（纽约大学）
美国法院将口头辩论的录音作为公共记录提供，但这些录音很少包括发言人的注释。本文讨论了语音音频日记问题，回答了“谁在什么时候说话？”“在司法口头辩论程序领域。我们提出了一个工作流程diarizing法官的口头辩论，我们称之为参考依赖扬声器验证的过程中使用的音频记录的讲话。我们利用用广义端到端损失训练的语音嵌入网络将语音编码成d向量和基于注释数据的预定义参考音频库。我们发现，通过编码参考音频的扬声器和完整的参数和计算相似性分数，我们实现了13.8%的拨号出错率的扬声器覆盖的参考音频库上举行的测试集。我们评估我们的方法对美国最高法院的口头辩论，通过Oyez项目访问，并概述了未来的工作diarizing法律诉讼。该研究的代码存储库可在github.com/JeffT13/rd-diarization上获得
2021-04-03 cs.SD eess.AS
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关，基于此冻结其主干并添加轻量标记头构建Whisper-AT，以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
由于音乐与符号输入的语音合成的相似性以及文语转换（TTS）技术的快速发展，借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中，我们分析了基于TTS的MIDI到音频系统的不足之处，并改进它的特征计算，模型选择和训练策略，旨在合成高度自然的声音。此外，我们进行了广泛的模型评估，通过听力测试，音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成，而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分和有效地使用数据，b）不能选择性地处理特征。所提出的模型解决了这些缺点，通过a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型，在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现，发现连续表示更优，非自回归模型更实用，编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰科技有限公司）
针对连续语音关键词识别中协同发音和流式分词易导致误报的问题，提出CLAD方法，通过滑动窗口级InfoNCE损失同时学习音频-文本匹配与音频-音频判别，在LibriSpeech上显著优于无音频判别的对比学习及两阶段方法。
2024-01-12 cs.SD eess.AS
Articulatory information and Multiview Features for Large Vocabulary Continuous Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）；SRI International（SRI国际）；Apple Inc.（苹果公司）
本文探讨了在卷积深度神经网络（CNN）架构中使用多视图特征及其判别变换来进行连续大词汇量语音识别任务。在特征空间最大似然线性回归（fMLLR）变换之后使用梅尔滤波器组能量和感知激励的强制阻尼振荡器系数（DOC）特征，其被组合并作为多视图特征馈送到单个CNN声学模型。使用多视图特征表示证明显着减少字出错率（WERs）相比，单独的功能本身的使用。此外，当发音信息被用作融合的深度神经网络（DNN）和CNN声学模型的额外输入时，发现NIST 2000对话电话语音测试集的总机子集和呼叫中心子集（包含部分非本地口音语音）的WER进一步降低，在两种情况下，相对于基线，出错率降低了12%。这项工作表明，与发音信息相关联的多视图特征可以提高自发和非母语语音的语音识别鲁棒性。
2018-02-16 cs.CL cs.SD eess.AS
Exploring the Effect of Segmentation and Vocabulary Size on Speech Tokenization for Speech Language Models
The University of Tokyo（东京大学）；Keio University（.keio大学）；Graduate School of Information Science and Technology（信息科学与技术研究生院）；Faculty of Science and Technology（科学与技术学部）
本文研究语音标记化中分割宽度和聚类大小对语音语言模型的影响，发现适度粗粒度分割和较大聚类可提升零样本口语理解性能，并实现训练数据减半和运行时间降低70%。
2025-05-31 cs.CL cs.SD eess.AS
Speech inpainting: Context-based speech synthesis guided by video
Universitat Pompeu Fabra（庞培法布拉大学）；Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
针对受损语音片段的修复问题，本文提出由视频视觉线索和未受损音频上下文共同引导的音视频 transformer 模型，并验证 AV-HuBERT 特征可有效提升语音合成效果。
2023-06-01 cs.AI cs.SD eess.AS
What Are They Doing? Joint Audio-Speech Co-Reasoning
Research Center（研究中心）；Concordia University（康考迪亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉（魁北克人工智能研究所））
针对音频语音任务多单模态的现状，本文提出JASCO联合音频-语音协同推理任务，发布对应场景推理数据集，构建基准探究ALLMs的跨模态推理能力，并分析模型对不同模态的依赖特性。
2025-01-12 cs.CL cs.SD eess.AS
Augmenting Open-Vocabulary Dysarthric Speech Assessment with Human Perceptual Supervision
本研究提出利用语音合成评估中的人类感知标注作为外部领域知识，指导构音障碍语音评估，实验证明该方法能有效提升自监督预训练模型的性能，实现跨领域知识转移。
2025-11-04 eess.AS
SAKURA: On the Multi-hop Reasoning of Large Audio-Language Models Based on Speech and Audio Information
National Taiwan University（国立台湾大学）
针对大型音频语言模型（LALMs）多跳推理能力缺乏系统评估的问题，本文提出SAKURA基准，实验表明LALMs难以整合语音/音频信息进行多跳推理，为该领域研究提供了资源与方向。
2025-08-24 cs.CL cs.SD eess.AS
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
USAD通过从领域特定SSL模型进行逐层蒸馏，将语音、声音和音乐统一到一个音频表示模型中，在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
New Challenges for Content Privacy in Speech and Audio
University of Southampton（南安普顿大学）；Fraunhofer AISEC（弗劳恩霍夫人工智能安全研究所）；Technical University Munich（慕尼黑工业大学）；Aflorithmic Labs Ltd.（Aflorithmic实验室有限公司）
语音和音频中的隐私有很多方面。在这一领域，隐私权的一个特别欠发达的领域涉及对与内容和背景有关的信息的考虑。语音内容可以包括单词及其含义，甚至包括文体标记、病态语音、语调模式或情感。更一般地，在野外捕获的音频可以包含背景语音或揭示上下文信息，诸如位置标记、房间特性、非语言声音或其他可听事件。音频记录设备和语音技术在日常生活中变得越来越普遍。与此同时，商业化的语音和音频技术并没有为消费者提供一系列隐私选择。即使在隐私受到法律监管或保护的地方，隐私保障和执行的技术解决方案也不足。这份立场文件介绍了语音和音频中内容隐私的三个重要而及时的研究挑战。我们强调当前的差距和机遇，并确定重点领域，这可能对开发道德和更安全的语音技术产生重大影响。
2023-01-21 cs.CR cs.SD eess.AS
