Finding Emotions Where They Belong: Rethinking Audio Emotion Recognition through Masked Temporal Affective Grounding
本文提出掩码时间情感锚定（M-TAG）训练目标，将音频情感识别重构为时间情感锚定任务，以解决标签时间模糊问题，并验证了现有模型在此任务上的局限性。
2026-09-29 cs.AI cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Intuitive Multilingual Audio-Visual Speech Recognition with a Single-Trained Model
KAIST（韩国科学技术院）
提出一种基于提示微调的单一多语言音视频语音识别模型，通过捕捉语言间相似性与差异实现直观语言区分，减少了对特定语言模型的依赖。
2023-10-23 cs.MM cs.SD eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Information Fusion in Attention Networks Using Adaptive and Multi-level Factorized Bilinear Pooling for Audio-visual Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
多模态情感识别是情感计算中的一项挑战性任务，因为情感概念抽象，表达方式多样，很难提取具有区分性的特征来识别情感中的细微差别。此外，如何充分利用音频和视频信息仍然是一个悬而未决的问题。本文提出了一种基于自适应和多级分解双线性池（FBP）的多模态融合注意力网络用于视听情感识别。首先，针对音频流，设计了一种具有一维注意力机制和局部响应归一化的全卷积网络（FCN）用于语音情感识别。其次，提出了一种全局FBP（G-FBP）方法，通过将基于自注意的视频流与音频流相结合来实现视听信息融合。为了改进G-FBP算法，提出了一种自适应融合策略（AG-FBP），该策略根据不同模态的注意力机制得到的情感相关表征向量，动态计算两种模态的融合权值。最后，为了充分利用本地情感信息，在AG-FBP的基础上，引入了自适应多级FBP（AMFBP），将全局主干数据和主干内数据结合在一个记录中。在IEMOCAP语音情感识别语料库上进行测试，新的FCN方法优于最先进的结果，准确率为71.40%。此外，在AFEW数据库上进行了验证2019 sub-challenge和用于视听情感识别的IEMOCAP语料库，所提出的AM-FBP方法在测试集上分别达到了63.09%和75.49%的最佳准确率。
2021-11-17 cs.MM cs.SD eess.AS
Predict-and-Update Network: Audio-Visual Speech Recognition Inspired by Human Speech Perception
在人类的语音感知中，音频和视频信号是相辅相成的，在语音识别中也是如此。视觉提示不如声学提示明显，但在复杂的声学环境中更鲁棒，就语音感知而言。如何有效地利用音频和视频信号之间的相互作用进行自动语音识别仍然是一个挑战。已经有研究以同步方式利用视觉信号作为音频输入的冗余或补充信息。对人类的研究表明，视觉信号会提前让听者准备好何时以及在哪个频率上注意。我们提出了一个预测和更新网络（P&U网），模拟这样的视听语音识别（AVSR）的视觉提示机制。特别是，我们首先预测的字符后验的口语单词，即视觉嵌入，基于视觉信号。然后，音频信号通过新颖的跨模态Conformer以视觉嵌入为条件，更新角色后验。我们通过大量的实验验证了视觉提示机制的有效性。建议的P&U网络优于国家的最先进的AVSR方法在LRS 2-BBC和LRS 3-BBC数据集，与相对减少字出错率（WER）的超过10%和40%，在干净和嘈杂的条件下，分别。
2022-09-05 cs.MM cs.SD eess.AS
Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition
KAIST（韩国科学技术院）；Genesis Lab Inc.（Genesis Lab公司）
本文主要研究设计一个抗噪声的端到端音视频语音识别系统。为此，我们提出了视觉上下文驱动的音频特征增强模块（V-CAFE），以增强输入的嘈杂的音频语音与视听对应的帮助。所提出的V-CAFE的目的是捕捉过渡的嘴唇运动，即视觉上下文，并通过考虑所获得的视觉上下文生成降噪掩模。通过上下文相关的建模，可以细化视位到音素映射中的歧义以用于掩码生成。噪声表示用噪声降低掩模掩蔽，从而产生增强的音频特征。将增强后的音频特征与视觉特征相融合，并将其引入到由Conformer和Transformer组成的编码器-解码器模型中进行语音识别。我们提出的端到端AVSR与V-CAFE可以进一步提高噪声鲁棒性的AVSR。在噪声语音识别和重叠语音识别实验中，使用两个最大的视听数据集，LRS 2和LRS 3的所提出的方法的有效性进行评估。
2022-07-13 cs.AI cs.CV cs.MM
Audio Bank: A High-Level Acoustic Signal Representation for Audio Event Recognition
Seoul National University（首尔大学）
本文提出计算高效的高层音频表示 Audio Bank，结合非负矩阵分解降维，在多种分类器上取得高识别性能。
2023-04-11 cs.IR cs.SD eess.AS
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能，嘈杂的环境。因此，需要探索一种有效的视听融合策略，以保证视听对齐和模态可靠性。不同于以前的端到端的方法，其中的视听融合进行编码后，每一个模态，在本文中，我们建议将一个专注的融合块到编码过程中。结果表明，在编码器模块中提出的视听融合方法可以丰富视听表示，因为这两种模态之间的相关性被利用。根据基于变换器的架构，我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流，削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明，与现有方法相比，该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
MUKA: Multi Kernel Audio Adaptation Of Audio-Language Models
Inria, University Rennes, IRISA, CNRS（Inria、里昂大学、IRISA、CNRS）
MUKA通过结合细粒度表示与全局语义表示，实现音频-语言模型的少样本适应，展现了在适应性和效率上的平衡性能。
2026-02-15 cs.SD
Robust LLM-based Audio-Visual Speech Recognition with Sparse Modality Alignment and Visual Unit-Guided Refinement
School of Computer Science, Wuhan University, China（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University, China（武汉大学人工智能学院）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）人工智能学院）；AI Center, OPPO, China（OPPO人工智能中心）；Digital Innovation Research Center, Duke Kunshan University, China（杜克大学昆山数字创新研究中心）
本文提出AVUR-LLM，通过稀疏模态对齐和视觉单元引导细化，提升音频视觉语音识别的鲁棒性，在LRS3数据集上取得显著性能提升。
2026-03-04 cs.MM cs.SD eess.AS
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC（南加州大学）；Amazon（亚马逊公司）
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模，通过将其用作训练数据和数据增强资源进行实验，验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
Deep CNN Framework for Audio Event Recognition using Weakly Labeled Web Data
音频事件识别系统的开发需要标记的训练数据，这通常是很难获得的。音频事件的记录的一个有前途的来源是网络上的大量多媒体数据。特别地，如果音频内容分析本身必须对web音频执行，则根据这样的数据训练识别器本身是重要的。然而，从这些网络数据中进行训练带来了几个挑战，最重要的是标签的可用性：可以为数据获得的标签（如果有的话）通常很弱，并且不是训练检测器或分类器所需的那种。我们提出，学习算法，可以利用弱标签提供了一种有效的方法来学习Web数据。然后，我们提出了一个强大而有效的基于深度卷积神经网络（CNN）的框架，以从弱标记数据中学习音频事件识别器。所提出的方法可以训练和分析记录的可变长度，以有效的方式，并优于一个网络训练的强标记的网络数据的相当大的利润。此外，即使我们从弱标记数据中学习，其中记录中的事件时间戳在训练期间不可用，我们提出的框架也能够在推理阶段定位事件。
2022-10-02 cs.LG cs.MM cs.SD
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
AD-AVSR: Asymmetric Dual-stream Enhancement for Robust Audio-Visual Speech Recognition
Zhengzhou University（郑州大学）；Zhejiang Lab（浙江实验室）；Xi'an Jiaotong University（西安交通大学）
提出基于双向模态增强的视听语音识别框架AD-AVSR，通过音频双流编码、音频感知视觉精炼和跨模态噪声抑制掩蔽模块实现闭环信息流，并采用阈值机制过滤弱相关模态对，在LRS2和LRS3上超越SOTA。
2025-08-11 cs.CV cs.MM cs.SD
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego（加州大学圣地亚哥分校）
音乐中的情感是一个复杂的概念，即使使用微调的特征工程也很难捕捉。在本文中，我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别（MER）任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明，深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是，深音频嵌入代表音乐情感语义的MER任务，没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先，给定场景的标签集，自动构造标签树。然后，在特征提取步骤中使用该类别分类法，在该步骤中，音频场景实例由标签树嵌入图像表示。不同的卷积神经网络，这些网络是为手头的任务量身定制的，最终在图像特征的基础上学习，用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率，并优于DCASE 2016基线，开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
Multimodal Integration for Large-Vocabulary Audio-Visual Speech Recognition
Institute of Communication Acoustics, Ruhr University Bochum（波鸿鲁尔大学通信声学研究所）
对于许多小词汇量和中等词汇量的任务，视听语音识别可以显着提高识别率相比，只有音频系统。然而，关于多模态信息的最佳组合策略仍然存在争议，这应该允许将这些收益转化为大词汇量识别。虽然使用动态流加权的状态后验概率水平上的集成对于小词汇量系统几乎普遍有用，但是在大词汇量语音识别中，识别精度仍然难以提高。在下文中，我们特别考虑了LRS2数据库的大词汇量任务，并研究了广泛的集成策略，将早期集成和端到端学习与许多版本的混合识别和动态流加权进行了比较。一个方面，这是提供了很多好处，这里，是使用动态流可靠性指标，这使得混合架构，以强烈的利润，包括视觉信息，只要音频通道失真，甚至轻微。
2020-07-28 cs.SD eess.AS
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer
NVIDIA（英伟达）
提出一种多语言音视频语音识别模型，采用混合CTC/RNN-T架构的Fast Conformer，扩展训练数据，在LRS3上WER达0.8%，在MuAViC上平均WER降低11.9%，支持音频、视觉及音视频识别。
2024-03-14 cs.AI cs.CV cs.MM
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Human-Inspired Computing for Robust and Efficient Audio-Visual Speech Recognition
本文提出受人类启发的脉冲神经网络HI-AVSNN用于音视频语音识别，通过视觉提示听觉注意力、因果处理与事件相机脉冲活动，在DVS-Lip数据集上比现有SNN方法准确率提升2.27%。
2025-08-27 cs.MM cs.SD eess.AS
RAST: Resolution-Aware Privileged Structure Transfer for Low-Resolution Audio Activity Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对低分辨率音频活动识别中训练与部署分辨率不匹配的问题，提出RAST框架，通过保留token级信息和邻域结构压缩高分辨率教师表示并进行局部对齐，在SAMoSA和AudioIMU数据集上提升约7.8%的识别性能。
2026-10-01 cs.AI cs.SD
Integrating Audio Narrations to Strengthen Domain Generalization in Multimodal First-Person Action Recognition
University of Pittsburgh（匹兹堡大学）
针对第一人称活动识别的域偏移问题，提出整合运动、音频、外观特征的多模态框架，通过音频旁白增强音文对齐等策略，在ARGO1M数据集上实现SOTA性能，提升跨场景泛化能力。
2024-09-15 cs.AI cs.CV cs.LG
A Unified Audio-Visual Learning Framework for Localization, Separation, and Recognition
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出统一音视频学习框架 OneAVM，通过共享编码器和三个训练目标联合实现声源定位、分离与识别，并在多个数据集上验证了任务间的正向迁移效果。
2023-05-30 cs.CV cs.LG cs.MM
Cross-Modal Global Interaction and Local Alignment for Audio-Visual Speech Recognition
Nanyang Technological University（南洋理工大学）；University of Aberdeen（阿伯丁大学）；University of Science and Technology of China（中国科学技术大学）
针对音视频语音识别中简单拼接特征导致多模态表征次优的问题，提出跨模态全局交互与局部对齐方法，通过全局交互捕捉模态互补关系和局部对齐建模帧级时间一致性，在LRS3和LRS2基准上超越监督学习最先进水平。
2023-05-16 cs.CV cs.MM cs.SD
Hearing Lips in Noise: Universal Viseme-Phoneme Mapping and Transfer for Robust Audio-Visual Speech Recognition
Nanyang Technological University（南洋理工大学）；University of Aberdeen（阿伯丁大学）；University of Science and Technology of China（中国科学技术大学）
针对AVSR噪声鲁棒性依赖含噪训练数据且泛化不足的问题，提出基于人类感知的通用视位-音素映射方法，从视觉信号恢复干净音频，实现无监督噪声自适应，在LRS3和LRS2上取得最先进结果。
2023-06-18 cs.CV cs.MM cs.SD
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs
Imperial College London（伦敦帝国学院）
本文提出Llama-MTSK，首个基于套娃式表示学习的多模态大语言模型，用于音视频语音识别，通过灵活调整令牌分配适应不同计算约束，在主要数据集上达到或超越固定压缩模型的性能。
2025-08-06 cs.CV cs.MM cs.SD
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China（电子科技大学）；Defense Innovation Institute, Academy of Military Sciences（国防科技创新研究院）；Peking University（北京大学）；High-tech Institute（高新技术研究所）
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架，结合语音增强技术，在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
Robust Audio Event Recognition with 1-Max Pooling Convolutional Neural Networks
本文提出了一种简单而有效的卷积神经网络（CNN）架构，用于鲁棒的音频事件识别。与具有多个卷积和池化层以及多个完全连接层的深度CNN架构相反，所提出的网络仅由三层组成：卷积层、池化层和softmax层。另外两个特征将其与针对该任务提出的深度架构区分开来：卷积层的可变大小卷积滤波器和池化层的1-max池化方案。直觉上，网络倾向于从整个音频信号中选择最具区分力的特征进行识别。我们提出的CNN不仅在鲁棒音频事件识别的标准任务上表现出最先进的性能，而且在识别准确率方面优于其他深度架构高达4.5%，相当于76.3%的相对错误减少。
2016-06-22 cs.LG cs.NE cs.SD
A Pre-trained Audio-Visual Transformer for Emotion Recognition
University of Southern California（南加州大学）
在本文中，我们介绍了一个预训练的视听Transformer，它是在VoxCeleb 2数据集中来自近4000位名人的超过50万个话语上训练的，用于人类行为理解。该模型旨在从人类面部和听觉行为之间的交互中捕获和提取有用的信息，并应用于情感识别。我们在两个数据集上评估了模型的性能，即CREMAD-D（情感分类）和MSP-IMPROV（连续情感回归）。实验结果表明，与从头开始训练的相同模型相比，微调预训练模型有助于将情感分类准确率提高5-7%，连续情感识别中的一致性相关系数（CCC）提高0.03-0.09。我们还展示了在低资源环境中微调预训练模型的鲁棒性。在仅提供10%的原始训练集的情况下，微调预训练模型可以使情感识别准确率提高至少10%，并且连续情感识别的CCC分数至少提高0.1。
2022-01-23 cs.CV cs.MM cs.SD
Slow-Fast Auditory Streams For Audio Recognition
Google Research（谷歌研究院）
我们提出了一种用于音频识别的双流卷积网络，该网络对时频谱图输入进行操作。在视觉识别方面取得类似的成功之后，我们学习了具有可分离卷积和多级横向连接的慢-快听觉流。慢路径具有高信道容量，而快路径以细粒度的时间分辨率操作。我们在两个不同的数据集上展示了我们的双流提案的重要性：VGG-Sound和EPIC-KITCHENS-100，并在两者上实现了最先进的结果。
2021-03-05 cs.CV cs.SD eess.AS
AVATAR: Unconstrained Audiovisual Speech Recognition
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
视听自动语音识别（AV-ASR）是ASR的扩展，其结合了视觉线索，通常来自说话者的嘴的运动。与单纯关注嘴唇运动的作品不同，我们研究了整个视觉框架（视觉动作，物体，背景等）的贡献。这对于不受约束的视频特别有用，其中扬声器不一定可见。为了解决这个问题，我们提出了一种新的序列到序列的视听ASR Transformer（AVATAR），它是从频谱图和全帧RGB进行端到端训练的。为了防止音频流主导训练，我们提出了不同的词掩蔽策略，从而鼓励我们的模型关注视觉流。我们展示了视觉模态对How2 AV-ASR基准测试的贡献，特别是在存在模拟噪声的情况下，并表明我们的模型在很大程度上优于所有其他先前的工作。最后，我们还为AV-ASR创建了一个名为VisSpeech的新的真实世界测试平台，它展示了视觉模态在具有挑战性的音频条件下的贡献。
2022-06-15 cs.CV cs.MM cs.SD
Named Entity Recognition for Audio De-Identification
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
数据匿名化通常是由人类执行的任务。自动化将减少完成这项任务所需的成本和时间。本文提出了一种管道，以自动匿名化的音频数据在法国。我们提出了一个管道，它需要音频文件与他们的transparency和删除命名实体（NE）中存在的音频。我们的流水线由一个强制对齐器和一个执行命名实体识别（NER）的模型组成，强制对齐器将音频转录中的单词与语音对齐。然后，对应于NE的音频片段被替换为静音以匿名化音频。我们比较了强制校准器和NER模型，以找到最适合我们场景的模型。我们在一个小型手工注释数据集上评估了我们的管道，获得了0.769的F1分数。这一结果表明，自动化这项任务是可行的。
2022-04-26 cs.CR cs.SD eess.AS
Audio-visual Recognition of Overlapped speech for the LRS2 dataset
Tencent AI（腾讯人工智能）
重叠语音的自动识别至今仍是一项极具挑战性的任务。受人类语音感知的双峰性质的启发，本文研究了使用视听技术进行重叠语音识别。提出了与音视频语音识别（AVSR）系统构建相关的三个问题。首先，研究了AVSR系统的基本结构设计，即端到端和混合结构。其次，有目的地设计的模态融合门被用来鲁棒地集成音频和视觉特征。第三，在对比传统的流水线架构，包含显式语音分离和识别组件，流线型和集成的AVSR系统优化一致使用无格MMI（LF-MMI）判别准则也提出了。所提出的LF-MMI时延神经网络（TDNN）系统为LRS 2数据集建立了最先进的技术。对LRS 2数据集模拟的重叠语音的实验表明，所提出的AVSR系统在字错误率（WER）降低方面优于仅音频基线LF-MMI DNN系统高达29.98%的绝对值，并且产生了与更复杂的流水线系统相当的识别性能。一致的性能改善4.89%的绝对WER减少基线AVSR系统使用特征融合。
2020-01-06 cs.SD eess.AS
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning
Nanyang Technological University（南洋理工大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Zhejiang University（浙江大学）
视听语音识别（AVSR）在提高语音识别的抗噪性方面取得了显著的成就。主流方法集中于融合音频和视觉输入以获得模态不变表示。然而，这种表示倾向于过度依赖音频模态，因为在干净的条件下，它比视频模态更容易识别。因此，AVSR模型低估了视觉流在噪声污染面前的重要性。为此，我们利用视觉模态特定的表示提供稳定的补充信息的AVSR任务。具体来说，我们提出了一个强化学习（RL）为基础的框架，称为MSRL，在自回归解码过程中，代理动态协调模态不变和模态特定的表示。我们定制了与特定于任务的指标直接相关的奖励函数（即，字出错率），这鼓励MSRL有效地探索最佳集成策略。在LRS3数据集上的实验结果表明，该方法在清洁和各种噪声条件下都达到了最先进的水平。此外，我们证明了更好的通用性MSRL系统比其他基线时，测试集包含不可见的噪声。
2023-02-02 cs.CV cs.MM cs.SD
Improving Audio Event Recognition with Consistency Regularization
本文提出将一致性正则化（CR）应用于音频事件识别，在AudioSet上通过消融研究验证其在大小监督训练集上均优于基线，并扩展至半监督设置进一步提升性能。
2025-09-12 cs.AI cs.SD
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA（LINAGORA公司）
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题，提出了包含多源文本与真实语码转换音频的LinTO数据集，为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
Modality Attention for End-to-End Audio-visual Speech Recognition
Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
视听语音识别（AVSR）系统被认为是解决鲁棒语音识别的最有前途的方案之一，尤其是在噪声环境下。在本文中，我们提出了一种新的多模态注意的视听语音识别方法，可以自动学习融合表示从两个模态的重要性的基础上。我们的方法是使用最先进的序列到序列（Seq2seq）架构实现的。实验结果表明，从2%到36%的相对改善，单独的听觉模态获得取决于不同的信号噪声比（SNR）。与传统的特征拼接方法相比，我们提出的方法可以实现更好的识别性能在干净和噪声条件下。我们相信，基于通道注意的端到端方法可以很容易地推广到其他多通道任务的相关信息。
2019-04-23 cs.CL cs.CV cs.SD
Joint Speech Recognition and Audio Captioning
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
在室内和室外环境中记录的语音样本通常被次级音频源污染。大多数端到端单声道语音识别系统或者使用语音增强来去除这些背景声音，或者训练噪声鲁棒模型。为了更好的模型可解释性和整体的理解，我们的目标是把不断增长的自动音频字幕（AAC）和深入研究的自动语音识别（ASR）领域。AAC的目标是生成音频样本中内容的自然语言描述。我们提出了几种方法的ASR和AAC任务的端到端的联合建模，并展示了它们的优势，传统的方法，这些任务独立建模。在评估我们提出的方法的一个主要障碍是缺乏标记的音频数据集与语音transmittance和音频字幕。因此，我们还通过将干净的语音华尔街日报语料库与从AudioCaps数据集中选择的多个级别的背景噪声混合来创建多任务数据集。我们还进行了广泛的实验评估，并显示我们提出的方法相比，现有的国家的最先进的ASR和AAC方法的改进。
2022-02-03 cs.CL cs.SD eess.AS
Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
University of Edinburgh, UK（爱丁堡大学）；University of Toronto, Canada（多伦多大学）；Microsoft Research, US（微软研究院）
针对音乐情感识别与生成中的情感偏差问题，提出使用基于多音频编码器的 Fréchet Audio Distance（FAD）进行客观评估，并引入增强的 EMG 方法提升生成情感的真实感。
2025-04-30 cs.CL cs.MM cs.SD
Training Strategies to Handle Missing Modalities for Audio-Visual Expression Recognition
Amazon（亚马逊）
音频视频表情自动识别在远程医疗、VOIP通话、人机交互等通信服务中具有重要的应用价值。视听表达识别的准确性可以受益于这两种模式之间的相互作用。然而，大多数在理想条件下训练的视听表达识别系统在现实世界场景中无法推广，其中由于诸如有限的带宽、交互者的取向、呼叫者发起的静音等多种原因，音频或视觉模态可能丢失。本文研究了一个国家的最先进的Transformer的性能时，一个模态丢失。我们进行消融研究，以评估模型在没有任何形式。此外，我们提出了一种策略，在训练过程中在剪辑或帧级别随机消融视觉输入，以模仿真实世界的场景。在野外数据上进行的结果表明，在缺失线索上训练的拟议模型具有显着的泛化能力，帧级消融的增益高达17%，表明这些训练策略更好地应对了输入模式的丢失。
2020-11-30 cs.SD eess.AS eess.IV
A Comparison of Audio Preprocessing Techniques and Deep Learning Algorithms for Raga Recognition
MIT World Peace University（MIT世界和平大学）
Ragas是印度古典音乐的基础。Raga识别的任务在最近的过去在音乐信息检索社区中获得了牵引力，这可以归因于印度古典音乐的细微差别，这些细微差别导致了计算中的大量研究问题。在这项工作中，我们使用了两种不同的数字音频信号处理技术来预处理Carnatic经典ragas的音频样本，然后通过各种深度学习模型进行处理。他们的结果进行了比较，以推断哪种DASP技术更适合拉加识别的任务。我们获得了最先进的结果，我们最好的模型达到了98.1%的测试精度。我们还比较了每种模型区分相似ragas的能力。
2022-12-10 cs.IR cs.SD eess.AS
Cocktail-Party Audio-Visual Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对鸡尾酒会场景提出包含说话与静默面部片段的1526小时AVSR数据集及方法，在不依赖显式分割线索的情况下将极端噪声下的WER从119%降至39.2%，相对最先进方法降低67%。
2025-06-02 cs.CL cs.SD
Listen to Look: Action Recognition by Previewing Audio
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
面对视频数据的泛滥，如今昂贵的剪辑级分类器越来越不实用。我们提出了一个框架，在未经修剪的视频，使用音频作为预览机制，以消除短期和长期的视觉冗余的有效动作识别。首先，我们设计了一个ImgAud 2 Vid框架，该框架通过从较轻的模态-单个帧及其伴随的音频-中提取来实现剪辑级功能，从而减少短期时间冗余以实现高效的剪辑级识别。其次，在ImgAud 2 Vid的基础上，我们进一步提出了ImgAud-Skimming，一种基于注意力的长短期记忆网络，它迭代地选择未修剪视频中的有用时刻，减少长期时间冗余，以实现高效的视频级识别。在四个动作识别数据集上的大量实验表明，我们的方法在识别精度和速度方面都达到了最先进的水平。
2020-03-28 cs.CV cs.LG cs.SD
A Hybrid of Deep Audio Feature and i-vector for Artist Recognition
NAVER Corp.（NAVER公司）；KAIST（韩国科学技术院）
艺术家识别是一项对艺术家的音乐风格进行建模的任务。这个问题很有挑战性，因为没有明确的标准。我们提出了一种生成模型i向量和判别模型深度卷积神经网络的混合方法。我们表明，这种方法实现了国家的最先进的性能相互补充。此外，我们还简要介绍了每种方法的优点和缺点。
2018-07-24 cs.SD eess.AS
Emotion Recognition in Audio and Video Using Deep Neural Networks
Stanford University（斯坦福大学）
人类能够理解来自多个领域的信息，例如语音，文本和视觉。随着深度学习技术的进步，语音识别有了显著的改进。从语音中识别情感是一个重要的方面，随着深度学习技术的发展，情感识别的准确性和延迟都有所改善。在提高准确性方面仍然存在许多挑战。在这项工作中，我们试图探索不同的神经网络，以提高情感识别的准确性。通过探索不同的架构，我们发现（CNN+RNN）+3D CNN多模型架构，该架构处理音频频谱图和相应的视频帧，使用IEMOCAP[2]数据集，在4种情绪中的情感预测准确率为54.0%，在3种情绪中的情感预测准确率为71.75%。
2020-06-15 cs.CV cs.LG cs.SD
Kaggle Competition: Cantonese Audio-Visual Speech Recognition for In-car Commands
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
随着深度学习和智能汽车的兴起，智能助手已成为方便驾驶和提供额外功能的重要车载组件。车载智能助理应该能够处理一般以及与汽车相关的命令，并执行相应的操作，从而简化驾驶并提高安全性。然而，在这一研究领域，大多数数据集是在主要语言，如英语和中文。低资源语言存在巨大的数据稀缺问题，阻碍了更广泛社区的研究和应用的发展。因此，至关重要的是要有更多的基准，以提高认识，并推动低资源语言的研究。为了解决这个问题，我们收集了一个新的数据集，即广东话车内视听语音识别（CI-AVSR），在车内语音识别的粤语视频和音频数据。与此同时，我们提出了用于车内命令的粤语视听语音识别，作为社区解决车内场景下低资源语音识别的新挑战。
2022-07-06 cs.CL cs.SD eess.AS
A Transcription Prompt-based Efficient Audio Large Language Model for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tencent YouTu Lab（腾讯优图实验室）
针对噪声环境下音频大语言模型语音识别存在幻觉、重复导致错误的问题，提出基于转录提示、引入ASR专家作为转录分词器及混合AR-NAR解码的Audio-LLM，在WenetSpeech语料上显著降低CER且彻底解决解码重复问题。
2024-08-18 cs.SD eess.AS
Robust end-to-end deep audiovisual speech recognition
Carnegie Mellon University（卡内基梅隆大学）
语言是人类最有效的交流方式之一。尽管音频是最常见的语音传输方式，但非常重要的信息可以在其他形式中找到，例如视觉。当声学信号被破坏时，视觉特别有用。然而，多模态语音识别还没有得到广泛的应用，主要是因为不同信息源的时间对准和融合是具有挑战性的。本文提出了一种端到端的视听语音识别器（AVSR），基于递归神经网络（RNN）与连接主义的时间分类（CTC）损失函数。CTC创建稀疏的“峰值”输出激活，我们分析的输出目标（音素或视位）之间的音频，视频，和视听功能表示对齐的差异。我们提出了第一个这样的实验上的大词汇量IBM ViaVoice数据库，它优于以前发表的方法在干净和嘈杂的条件下对手机的准确性。
2016-11-21 cs.CL cs.LG cs.SD
Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University（湖南大学）
音频是人们日常生活中的重要媒介，隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量，但不可感知性较低。基于变换域的技术具有较好的不可感知性，但隐藏容量较差。本文提出了一种新的音频信息隐藏技术，该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入，通过训练我们的私人自动语音识别（ASR）模型，得到嵌入隐藏信息的音频信号（称为隐写音频）。在不知道私有模型的内部参数和结构的情况下，私有模型可以提取隐藏信息，而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息，以评估私有模型的安全性。实验结果表明，该音频信息隐藏技术具有48 cps的隐藏容量，同时具有良好的不可感知性和较高的安全性。此外，我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门，这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
