Transfer Learning of Artist Group Factors to Musical Genre Classification
Delft University of Technology（代尔夫特理工大学）；Kakao Corp.（Kakao公司）；Universitat Pompeu Fabra（庞培法布拉大学）
从音频信息中自动识别音乐流派是一个具有挑战性的问题，因为流派标签是主观的和嘈杂的。艺术家的标签不那么主观，也不那么嘈杂，而某些艺术家可能与某些流派有更强的联系。同时，在预测时，不能保证艺术家标签可用于给定的音频段。因此，在这项工作中，我们建议应用迁移学习框架，学习艺术家相关的信息，这些信息将在推理时用于体裁分类。我们考虑不同类型的艺术家相关信息，通过艺术家群体因素表达，这将允许更有效的学习和更强的鲁棒性，以潜在的标签噪声。此外，我们还研究了如何在给定的FMA数据集上实现最高的验证精度，通过实验各种转移方法，包括单任务转移，多任务转移和最后的多任务学习。
2019-01-13 cs.LG cs.SD eess.AS
Generating lyrics with variational autoencoder and multi-modal artist embeddings
University of Waterloo（滑铁卢大学）
我们提出了一个系统，用于生成一个指定的艺术家的风格为条件的歌词线。该系统使用一个变分自编码器与艺术家嵌入。我们提出了艺术家嵌入的预训练与CNN分类器学习的表示，该分类器被训练为基于他们的歌曲剪辑的MEL频谱图来预测艺术家。这项工作是第一步，结合音频和文本形式的歌曲生成歌词的艺术家的风格。我们的初步结果表明，有一个好处，在初始化艺术家的嵌入与表示学习的声谱图分类。
2018-12-20 cs.CL cs.SD eess.AS
Explainable AI through the Lens of Material Agency: Enabling Musical Interface Design with Neural Audio Models
Centre for Digital Music, Queen Mary University of London（伦敦玛丽女王大学数字音乐中心）；Creative Computing Institute, University of the Arts London（伦敦艺术大学创意计算学院）
该研究从物质能动性视角探讨可解释人工智能，提出物质可解释性，通过构建资源库案例研究，在音乐界面设计中探索神经音频模型，还给出在艺术实践中探索人工智能为材料的建议，以启发未来面向艺术家的可解释人工智能设计。
2026-07-28 cs.HC cs.SD
Exploring Musical Roots: Applying Audio Embeddings to Empower Influence Attribution for a Generative Music Model
Northwestern University（西北大学）
针对生成式音乐模型黑箱导致的训练数据归因不明问题，研究提出基于音频嵌入的可复现相似度识别方法，对比CLMR与CLAP在VampNet训练集上的效果并验证修改音频的影响，为自动化影响力归因奠基。
2024-01-25 cs.AI cs.SD eess.AS
Deep Learning Tools for Audacity: Helping Researchers Expand the Artist's Toolkit
Northwestern University（西北大学）；Audacity Team（Audacity团队）
我们提出了一个软件框架，集成神经网络到流行的开源音频编辑软件，Audacity，与开发人员的工作量最小。在本文中，我们为最终用户和神经网络开发人员展示了一些示例用例。我们希望这项工作能够促进深度学习实践者和最终用户之间的互动达到一个新的水平。
2021-10-28 cs.LG cs.SD eess.AS
Towards Leveraging Contrastively Pretrained Neural Audio Embeddings for Recommender Tasks
ETH Zurich（苏黎世联邦理工学院）
针对音乐推荐中的新作品/艺术家冷启动问题，本研究探索用对比预训练神经音频嵌入（尤其是CLAP模型生成的嵌入）替代手工音频特征，以增强基于图框架的协同过滤推荐效果，实验验证了该方法的应用潜力。
2024-09-13 cs.AI cs.SD eess.AS
Representation Learning of Music Using Artist Labels
NAVER Corp.（NAVER公司）；Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
在音乐领域，特征学习主要有两种方式：基于稀疏表示的无监督学习和基于音乐类型等语义标签的监督学习。然而，以无监督的方式找到有区别的特征是具有挑战性的，并且使用语义标签的监督特征学习可能涉及噪声或昂贵的注释。在本文中，我们提出了一个监督的特征学习方法，使用艺术家标签标注在每一个单一的轨道作为客观的Meta数据。我们提出了两个深度卷积神经网络（DCNN）来学习深层艺术家特征。一个是同时使用整个艺术家标签训练的普通DCNN，另一个是基于艺术家身份使用艺术家标签子集训练的Siamese DCNN。我们将训练好的模型应用于迁移学习环境中的音乐分类和检索任务。结果表明，我们的方法与以前的最先进的方法相当，这表明所提出的方法捕获了与使用语义标签学习的模型一样多的一般音乐音频特征。最后，我们讨论了这两种模型的优点和缺点。
2018-06-19 cs.SD eess.AS
Revival: Collaborative Artistic Creation through Human-AI Interactions in Musical Creativity
School of Interactive Arts and Technology（交互艺术与技术学院）；Simon Fraser University（西蒙菲莎大学）
本研究介绍艺术家团体K-Phi-A的创新项目Revival，通过训练AI音乐智能体与人类音乐家实时即兴共创、搭配AI视觉合成器生成随音乐演变的视觉效果，展现人机协作在即兴艺术创作中的潜力。
2025-01-19 cs.AI cs.HC cs.MA
PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）；ByteDance AI Lab（字节跳动人工智能实验室）；Qingdao University of Science and Technology（青岛科技大学）
音频模式识别是机器学习领域的一个重要研究课题，包括音频标注、声学场景分类、音乐分类、语音情感分类和声音事件检测等。最近，神经网络已被应用于解决音频模式识别问题。然而，以前的系统是建立在具有有限持续时间的特定数据集上的。最近，在计算机视觉和自然语言处理中，在大规模数据集上预训练的系统已经很好地推广到几个任务。然而，在大规模数据集上对音频模式识别的预训练系统的研究有限。在本文中，我们提出了在大规模AudioSet数据集上训练的预训练音频神经网络（PANN）。这些PANN被转移到其他音频相关任务。我们调查的性能和计算复杂性度的PANN建模的各种卷积神经网络。我们提出了一种称为Wavegram-Logmel-CNN的架构，使用logmel频谱图和波形作为输入特征。我们最好的PANN系统在AudioSet标记上实现了最先进的平均精度（mAP）0.439，优于之前最好的系统0.392。我们将PANN转移到六个音频模式识别任务中，并在其中几个任务中展示了最先进的性能。我们已经发布了PANN的源代码和预训练模型：https://github.com/qiuqiangkong/audioset_tagging_cnn。
2020-08-23 cs.SD eess.AS
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo（滑铁卢大学）
电子音乐艺术家和声音设计师有独特的工作流程实践，需要专门的方法来开发音乐信息检索和创造力支持工具。此外，电子乐器，如模块化合成器，具有近乎无限的声音创作可能性，可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的，不可能复制。出于这个原因，许多电子流派的音乐家在录音室工作时一直录制音频输出。因此，艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中，我们描述了LyricJam Sonic --一种新颖的创作工具，让音乐家重新发现他们以前的录音，将它们与其他录音重新联系起来，并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段，并使用它们生成新的歌词线，这些歌词线又用于找到其他片段，从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态，而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行，或者以现场表演模式运行，其中艺术家播放现场音乐，而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
Multimodal Integration for Large-Vocabulary Audio-Visual Speech Recognition
Institute of Communication Acoustics, Ruhr University Bochum（波鸿鲁尔大学通信声学研究所）
对于许多小词汇量和中等词汇量的任务，视听语音识别可以显着提高识别率相比，只有音频系统。然而，关于多模态信息的最佳组合策略仍然存在争议，这应该允许将这些收益转化为大词汇量识别。虽然使用动态流加权的状态后验概率水平上的集成对于小词汇量系统几乎普遍有用，但是在大词汇量语音识别中，识别精度仍然难以提高。在下文中，我们特别考虑了LRS2数据库的大词汇量任务，并研究了广泛的集成策略，将早期集成和端到端学习与许多版本的混合识别和动态流加权进行了比较。一个方面，这是提供了很多好处，这里，是使用动态流可靠性指标，这使得混合架构，以强烈的利润，包括视觉信息，只要音频通道失真，甚至轻微。
2020-07-28 cs.SD eess.AS
Audio-visual Recognition of Overlapped speech for the LRS2 dataset
Tencent AI（腾讯人工智能）
重叠语音的自动识别至今仍是一项极具挑战性的任务。受人类语音感知的双峰性质的启发，本文研究了使用视听技术进行重叠语音识别。提出了与音视频语音识别（AVSR）系统构建相关的三个问题。首先，研究了AVSR系统的基本结构设计，即端到端和混合结构。其次，有目的地设计的模态融合门被用来鲁棒地集成音频和视觉特征。第三，在对比传统的流水线架构，包含显式语音分离和识别组件，流线型和集成的AVSR系统优化一致使用无格MMI（LF-MMI）判别准则也提出了。所提出的LF-MMI时延神经网络（TDNN）系统为LRS 2数据集建立了最先进的技术。对LRS 2数据集模拟的重叠语音的实验表明，所提出的AVSR系统在字错误率（WER）降低方面优于仅音频基线LF-MMI DNN系统高达29.98%的绝对值，并且产生了与更复杂的流水线系统相当的识别性能。一致的性能改善4.89%的绝对WER减少基线AVSR系统使用特征融合。
2020-01-06 cs.SD eess.AS
Audio Bank: A High-Level Acoustic Signal Representation for Audio Event Recognition
Seoul National University（首尔大学）
本文提出计算高效的高层音频表示 Audio Bank，结合非负矩阵分解降维，在多种分类器上取得高识别性能。
2023-04-11 cs.IR cs.SD eess.AS
Data-driven audio recognition: a supervised dictionary approach
Laboratoire BMBI Compiègne（贡比涅BMBI实验室）；Université de Technologie de Compiègne（贡比涅技术大学）
机器听觉是一个新兴领域。出于对机器监听领域应用的原则性框架的需求，我们提出了一种通用的数据驱动的表示学习方法。为此，提出了一种新颖有效的监督式字典学习方法。实验进行计算听觉场景（东安格利亚和鲁昂）和合成音乐和弦识别数据集。获得的结果表明，我们的方法是能够达到国家的最先进的手工制作的功能，为这两个应用程序
2020-12-29 cs.SD eess.AS
Sound Design Strategies for Latent Audio Space Explorations Using Deep Learning Architectures
Chalmers University of Technology（查尔姆斯理工大学）；Zurich University of the Arts（苏黎世艺术大学）
本研究提出三种策略，利用变分自编码器直接处理原始音频数据，探索潜在音频空间，以促进声音设计应用并连接深度学习与艺术实践。
2023-06-19 cs.LG cs.SD eess.AS
A Transcription Prompt-based Efficient Audio Large Language Model for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tencent YouTu Lab（腾讯优图实验室）
针对噪声环境下音频大语言模型语音识别存在幻觉、重复导致错误的问题，提出基于转录提示、引入ASR专家作为转录分词器及混合AR-NAR解码的Audio-LLM，在WenetSpeech语料上显著降低CER且彻底解决解码重复问题。
2024-08-18 cs.SD eess.AS
AudioRepInceptionNeXt: A lightweight single-stream architecture for efficient audio recognition
City University of Hong Kong（香港城市大学）；TCL AI Lab（TCL人工智能实验室）
提出轻量级单流架构AudioRepInceptionNeXt，通过级联多分支深度卷积分离时频处理并重参数化，在保持精度的同时大幅降低计算与内存开销。
2024-04-21 cs.SD eess.AS
Fusing information streams in end-to-end audio-visual speech recognition
Ruhr University Bochum（波鸿鲁尔大学）
端到端声学语音识别已经迅速得到了广泛的普及，并在许多研究中显示出有希望的结果。具体地，联合Transformer/CTC模型在许多任务中提供了非常好的性能。然而，在噪声和失真的条件下，性能仍然显着下降。虽然视听语音识别可以显著提高在这种恶劣条件下的端到端模型的识别率，但如何最好地利用这些模型中关于声学和视觉信号质量和可靠性的任何可用信息并不明显。因此，我们考虑的问题，如何最佳地通知任何时变可靠性的声学和视觉信息流的Transformer/CTC模型。我们提出了一种新的融合策略，将可靠性信息的决策融合网，认为时间的影响的注意力机制。这种方法产生显着的改进相比，最先进的基线模型的唇读句子2和3（LRS 2和LRS 3）语料库。平均而言，与纯音频设置相比，新系统实现了43%的相对字错误率降低，与视听端到端基线相比降低了31%。
2021-04-19 cs.SD eess.AS
Spanish and English Phoneme Recognition by Training on Simulated Classroom Audio Recordings of Collaborative Learning Environments
协作学习环境的音频记录包含持续存在的串扰和背景噪声。在这些环境中需要西班牙语和英语之间的动态语音识别。为了消除大规模地面实况的标准要求，本文开发了一个模拟数据集，通过将音频transanimation转换为音素，并使用3D扬声器几何和数据增强来生成西班牙语和英语语音的声学模拟。本文开发了一个低复杂度的神经网络，用于识别西班牙语和英语音素（可在github.com/muelitas/keywordRec获得）。当在41个英语音素上训练时，在语音命令上实现了0.099 PER。当训练36西班牙语音素和测试的协作学习环境的真实录音，0.7208 LER实现。比Google的Speech-to-text 0.7272 LER稍好，后者使用了15到1,635倍的参数，并在300到27,500小时的真实数据上进行了训练，而不是13小时的模拟音频。
2022-02-21 cs.SD eess.AS
ERANNs: Efficient Residual Audio Neural Networks for Audio Pattern Recognition
Novosibirsk State University（新西伯利亚国立大学）；Sobolev Institute of Mathematics SB RAS（俄罗斯科学院西伯利亚分院索伯列夫数学研究所）；Deepsound（深声公司）
音频模式识别（APR）是一个重要的研究课题，可以应用到与我们生活相关的多个领域。因此，需要开发准确和有效的APR系统，因为它们在实际应用中是有用的。在本文中，我们提出了一种新的卷积神经网络（CNN）架构和方法，用于提高基于CNN的系统的推理速度APR任务。此外，使用所提出的方法，我们可以提高我们的系统的性能，在四个音频数据集上进行的实验证实。此外，我们研究了数据增强技术和迁移学习对系统性能的影响。我们最好的系统在AudioSet数据集上实现了0.450的平均精度（mAP）。虽然这个值小于最先进的系统，但拟议的系统速度快7.1倍，体积小9.7倍。在ESC-50、UrbanSound 8 K和RAVDESS数据集上，我们获得了最先进的结果，精度分别为0.961、0.908和0.748。我们的ESC-50数据集系统比以前最好的系统快1.7倍，小2.3倍。对于RAVDESS数据集，我们的系统比以前最好的系统小3.3倍。我们将我们的系统命名为“高效残余音频神经网络“。
2022-07-20 cs.SD eess.AS
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC（南加州大学）；Amazon（亚马逊公司）
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模，通过将其用作训练数据和数据增强资源进行实验，验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
Not All Deepfakes Are Created Equal: Triaging Audio Forgeries for Robust Deepfake Singer Identification
Universal Music Group（环球音乐集团）
针对歌声深度伪造威胁，提出两阶段流水线：先以鉴别器过滤低质量伪造品，再用仅基于真实录音训练的模型识别剩余音频中的歌手，其在真实与合成内容上均持续优于现有基准。
2025-11-18 cs.SD
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Combining Genre Classification and Harmonic-Percussive Features with Diffusion Models for Music-Video Generation
Brunel University London（布鲁内尔伦敦大学）
本研究提出结合流派分类、谐波-打击乐特征与扩散模型的音乐视频生成方法，分图像生成和视频插值两阶段，引入AVS指标验证其视听同步效果优于线性插值，可应用于多领域视听创作。
2024-12-07 cs.GR cs.MM cs.SD
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Slow-Fast Auditory Streams For Audio Recognition
Google Research（谷歌研究院）
我们提出了一种用于音频识别的双流卷积网络，该网络对时频谱图输入进行操作。在视觉识别方面取得类似的成功之后，我们学习了具有可分离卷积和多级横向连接的慢-快听觉流。慢路径具有高信道容量，而快路径以细粒度的时间分辨率操作。我们在两个不同的数据集上展示了我们的双流提案的重要性：VGG-Sound和EPIC-KITCHENS-100，并在两者上实现了最先进的结果。
2021-03-05 cs.CV cs.SD eess.AS
Named Entity Recognition for Audio De-Identification
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
数据匿名化通常是由人类执行的任务。自动化将减少完成这项任务所需的成本和时间。本文提出了一种管道，以自动匿名化的音频数据在法国。我们提出了一个管道，它需要音频文件与他们的transparency和删除命名实体（NE）中存在的音频。我们的流水线由一个强制对齐器和一个执行命名实体识别（NER）的模型组成，强制对齐器将音频转录中的单词与语音对齐。然后，对应于NE的音频片段被替换为静音以匿名化音频。我们比较了强制校准器和NER模型，以找到最适合我们场景的模型。我们在一个小型手工注释数据集上评估了我们的管道，获得了0.769的F1分数。这一结果表明，自动化这项任务是可行的。
2022-04-26 cs.CR cs.SD eess.AS
Intuitive Multilingual Audio-Visual Speech Recognition with a Single-Trained Model
KAIST（韩国科学技术院）
提出一种基于提示微调的单一多语言音视频语音识别模型，通过捕捉语言间相似性与差异实现直观语言区分，减少了对特定语言模型的依赖。
2023-10-23 cs.MM cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
BASS: Benchmarking Audio LMs for Musical Structure and Semantic Reasoning
University of Washington（华盛顿大学）；The Ohio State University（俄亥俄州立大学）；Allen Institute for AI（人工智能研究所）
BASS通过评估音频语言模型在音乐结构和语义推理方面的性能，揭示了现有模型在高层次推理任务上的局限性，并为音乐推荐和搜索提供评估框架。
2026-02-03 cs.CL cs.SD
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA（LINAGORA公司）
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题，提出了包含多源文本与真实语码转换音频的LinTO数据集，为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
Joint Speech Recognition and Audio Captioning
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
在室内和室外环境中记录的语音样本通常被次级音频源污染。大多数端到端单声道语音识别系统或者使用语音增强来去除这些背景声音，或者训练噪声鲁棒模型。为了更好的模型可解释性和整体的理解，我们的目标是把不断增长的自动音频字幕（AAC）和深入研究的自动语音识别（ASR）领域。AAC的目标是生成音频样本中内容的自然语言描述。我们提出了几种方法的ASR和AAC任务的端到端的联合建模，并展示了它们的优势，传统的方法，这些任务独立建模。在评估我们提出的方法的一个主要障碍是缺乏标记的音频数据集与语音transmittance和音频字幕。因此，我们还通过将干净的语音华尔街日报语料库与从AudioCaps数据集中选择的多个级别的背景噪声混合来创建多任务数据集。我们还进行了广泛的实验评估，并显示我们提出的方法相比，现有的国家的最先进的ASR和AAC方法的改进。
2022-02-03 cs.CL cs.SD eess.AS
Training Strategies to Handle Missing Modalities for Audio-Visual Expression Recognition
Amazon（亚马逊）
音频视频表情自动识别在远程医疗、VOIP通话、人机交互等通信服务中具有重要的应用价值。视听表达识别的准确性可以受益于这两种模式之间的相互作用。然而，大多数在理想条件下训练的视听表达识别系统在现实世界场景中无法推广，其中由于诸如有限的带宽、交互者的取向、呼叫者发起的静音等多种原因，音频或视觉模态可能丢失。本文研究了一个国家的最先进的Transformer的性能时，一个模态丢失。我们进行消融研究，以评估模型在没有任何形式。此外，我们提出了一种策略，在训练过程中在剪辑或帧级别随机消融视觉输入，以模仿真实世界的场景。在野外数据上进行的结果表明，在缺失线索上训练的拟议模型具有显着的泛化能力，帧级消融的增益高达17%，表明这些训练策略更好地应对了输入模式的丢失。
2020-11-30 cs.SD eess.AS eess.IV
A Comparison of Audio Preprocessing Techniques and Deep Learning Algorithms for Raga Recognition
MIT World Peace University（MIT世界和平大学）
Ragas是印度古典音乐的基础。Raga识别的任务在最近的过去在音乐信息检索社区中获得了牵引力，这可以归因于印度古典音乐的细微差别，这些细微差别导致了计算中的大量研究问题。在这项工作中，我们使用了两种不同的数字音频信号处理技术来预处理Carnatic经典ragas的音频样本，然后通过各种深度学习模型进行处理。他们的结果进行了比较，以推断哪种DASP技术更适合拉加识别的任务。我们获得了最先进的结果，我们最好的模型达到了98.1%的测试精度。我们还比较了每种模型区分相似ragas的能力。
2022-12-10 cs.IR cs.SD eess.AS
Information Fusion in Attention Networks Using Adaptive and Multi-level Factorized Bilinear Pooling for Audio-visual Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
多模态情感识别是情感计算中的一项挑战性任务，因为情感概念抽象，表达方式多样，很难提取具有区分性的特征来识别情感中的细微差别。此外，如何充分利用音频和视频信息仍然是一个悬而未决的问题。本文提出了一种基于自适应和多级分解双线性池（FBP）的多模态融合注意力网络用于视听情感识别。首先，针对音频流，设计了一种具有一维注意力机制和局部响应归一化的全卷积网络（FCN）用于语音情感识别。其次，提出了一种全局FBP（G-FBP）方法，通过将基于自注意的视频流与音频流相结合来实现视听信息融合。为了改进G-FBP算法，提出了一种自适应融合策略（AG-FBP），该策略根据不同模态的注意力机制得到的情感相关表征向量，动态计算两种模态的融合权值。最后，为了充分利用本地情感信息，在AG-FBP的基础上，引入了自适应多级FBP（AMFBP），将全局主干数据和主干内数据结合在一个记录中。在IEMOCAP语音情感识别语料库上进行测试，新的FCN方法优于最先进的结果，准确率为71.40%。此外，在AFEW数据库上进行了验证2019 sub-challenge和用于视听情感识别的IEMOCAP语料库，所提出的AM-FBP方法在测试集上分别达到了63.09%和75.49%的最佳准确率。
2021-11-17 cs.MM cs.SD eess.AS
Audio-guided Album Cover Art Generation with Genetic Algorithms
Ghent University（根特大学）；imec（比利时微电子研究中心）
Spotify上每天有超过60，000首歌曲发布，听众注意力的竞争是巨大的。在这方面，封面艺术的吸引力和吸引力的重要性不可低估，因为它与歌曲的性格和艺术家的身份深深纠缠在一起，并且仍然是引导人们发现音乐的最重要的门户之一。然而，设计封面艺术是一个非常有创意，漫长，有时昂贵的过程，可以令人望而生畏，特别是对于非专业艺术家。出于这个原因，我们提出了一种新的深度学习框架来生成由音频特征引导的封面艺术。受VQGAN-CLIP的启发，我们的方法非常灵活，因为单个组件可以轻松更换，无需任何重新培训。本文概述了我们的模型的架构细节，并讨论了从它们出现的优化挑战。更具体地说，我们将利用遗传算法来克服坏的局部极小值和对抗性的例子。我们发现，我们的框架可以生成适合大多数流派的封面艺术，并且视觉特征适应音频特征的变化。鉴于这些结果，我们相信，我们的框架铺平了道路的扩展和更先进的应用程序在音频引导的视觉生成任务。
2022-07-14 cs.GR cs.LG cs.MM
Kaggle Competition: Cantonese Audio-Visual Speech Recognition for In-car Commands
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
随着深度学习和智能汽车的兴起，智能助手已成为方便驾驶和提供额外功能的重要车载组件。车载智能助理应该能够处理一般以及与汽车相关的命令，并执行相应的操作，从而简化驾驶并提高安全性。然而，在这一研究领域，大多数数据集是在主要语言，如英语和中文。低资源语言存在巨大的数据稀缺问题，阻碍了更广泛社区的研究和应用的发展。因此，至关重要的是要有更多的基准，以提高认识，并推动低资源语言的研究。为了解决这个问题，我们收集了一个新的数据集，即广东话车内视听语音识别（CI-AVSR），在车内语音识别的粤语视频和音频数据。与此同时，我们提出了用于车内命令的粤语视听语音识别，作为社区解决车内场景下低资源语音识别的新挑战。
2022-07-06 cs.CL cs.SD eess.AS
Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University（湖南大学）
音频是人们日常生活中的重要媒介，隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量，但不可感知性较低。基于变换域的技术具有较好的不可感知性，但隐藏容量较差。本文提出了一种新的音频信息隐藏技术，该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入，通过训练我们的私人自动语音识别（ASR）模型，得到嵌入隐藏信息的音频信号（称为隐写音频）。在不知道私有模型的内部参数和结构的情况下，私有模型可以提取隐藏信息，而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息，以评估私有模型的安全性。实验结果表明，该音频信息隐藏技术具有48 cps的隐藏容量，同时具有良好的不可感知性和较高的安全性。此外，我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门，这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
Disentanglement for audio-visual emotion recognition using multitask setup
Amazon（亚马逊）
在视听数据上训练的深度学习模型已成功用于实现最先进的情感识别性能。特别是，使用多任务学习训练的模型显示出额外的性能改进。然而，这样的多任务模型使任务之间的信息纠缠在一起，对用于训练的真实世界数据中的标签分布中存在的相互依赖性进行编码。这项工作探讨了解开的多模态信号表示的情感识别的主要任务和次要的人识别任务。特别是，我们开发了一个多任务框架，以提取低维嵌入，旨在捕捉特定的情感信息，同时包含最少的信息与人的身份。我们评估了三种不同的技术，解开和报告的结果高达13%的解开，同时保持情绪识别性能。
2021-02-11 cs.SD eess.AS eess.IV
Predict-and-Update Network: Audio-Visual Speech Recognition Inspired by Human Speech Perception
在人类的语音感知中，音频和视频信号是相辅相成的，在语音识别中也是如此。视觉提示不如声学提示明显，但在复杂的声学环境中更鲁棒，就语音感知而言。如何有效地利用音频和视频信号之间的相互作用进行自动语音识别仍然是一个挑战。已经有研究以同步方式利用视觉信号作为音频输入的冗余或补充信息。对人类的研究表明，视觉信号会提前让听者准备好何时以及在哪个频率上注意。我们提出了一个预测和更新网络（P&U网），模拟这样的视听语音识别（AVSR）的视觉提示机制。特别是，我们首先预测的字符后验的口语单词，即视觉嵌入，基于视觉信号。然后，音频信号通过新颖的跨模态Conformer以视觉嵌入为条件，更新角色后验。我们通过大量的实验验证了视觉提示机制的有效性。建议的P&U网络优于国家的最先进的AVSR方法在LRS 2-BBC和LRS 3-BBC数据集，与相对减少字出错率（WER）的超过10%和40%，在干净和嘈杂的条件下，分别。
2022-09-05 cs.MM cs.SD eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Team AcieLee: Technical Report for EPIC-SOUNDS Audio-Based Interaction Recognition Challenge 2023
Southwest University（西南大学）；Samsung Research China-Beijing(SRC-B)（三星中国研究院-北京）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本报告介绍AcieLee团队参与2023年EPIC-SOUNDS基于音频的交互识别挑战赛的技术方案，通过采用学习率步长衰减等优化策略及多模型融合方法，最终获得挑战赛第三名。
2023-06-15 cs.CV cs.SD eess.AS
mWhisper-Flamingo for Multilingual Audio-Visual Noise-Robust Speech Recognition
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；University of Tuebingen（图宾根大学）
本文提出mWhisper-Flamingo，通过融合预训练音频模型Whisper和视频模型AV-HuBERT，并引入解码器模态丢弃机制，在9种语言的MuAViC数据集上实现了多语言抗噪音视频语音识别的最先进性能。
2025-05-07 cs.CV cs.SD eess.AS
Investigations on Audiovisual Emotion Recognition in Noisy Conditions
University of Stuttgart（斯图加特大学）
在本文中，我们探讨了视听情感识别噪声声学条件下的语音特征为重点。我们试图回答以下研究问题：（一）语音情感识别如何执行噪声数据？及（ii）多模态方法在何种程度上提高了精度，并补偿了不同噪声水平下的潜在性能下降？我们提出了一个分析调查的两个情感数据集叠加噪声在不同的信噪比，比较三种类型的声学特征。视觉特征与混合融合方法相结合：第一个神经网络层是独立的模态特定层，在最终预测之前至少有一个共享层。结果表明，当将在干净音频上训练的模型应用于噪声数据时，性能会显着下降，并且添加视觉特征会消除这种影响。
2021-03-02 cs.CL cs.SD eess.AS
VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition
Imperial College London（帝国理工学院伦敦分校）；NatWest AI Research（NatWest人工智能研究）
提出VIB-AVSR，通过在LLM骨干中插入变分信息瓶颈层来正则化表示，无需架构修改或额外数据，即可在多种噪声条件下提升AVSR鲁棒性。
2026-06-28 cs.CV cs.SD eess.AS
A Multi-Purpose Audio-Visual Corpus for Multi-Modal Persian Speech Recognition: the Arman-AV Dataset
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
近年来，自动唇读研究取得了重大进展。但是这些方法需要大规模的数据集，而这些数据集对于许多低资源语言来说是不存在的。在本文中，我们提出了一个新的多用途的波斯语视听数据集。该数据集包含近220小时的视频，其中有1760个对应的发言者。除了唇读之外，该数据集还适用于自动语音识别、视听语音识别和说话人识别。它也是第一个大规模的波斯语唇读数据集。为每项提到的任务提供了一个基线方法。此外，我们提出了一种技术来检测视位（一个视觉相当于一个音素）在波斯语。通过这种方法获得的视位，提高了7%的唇读任务的准确性相比，以前提出的视位，这可以适用于其他语言以及。
2023-01-21 cs.CL cs.SD eess.AS
Audio-visual Multi-channel Recognition of Overlapped Speech
Tencent AI Lab（腾讯人工智能实验室）
重叠语音的自动语音识别（ASR）至今仍是一项极具挑战性的任务。为此，多通道麦克风阵列数据被广泛用于最先进的ASR系统中。基于视觉模态对声信号失真的不变性，提出了一种分离前端和识别后端紧密结合的视听多通道重叠语音识别系统。开发了一系列基于\textit{TF masking}、\textit{filter\&sum}和\textit{mask-based MVDR}波束形成方法的视听多通道语音分离前端组件。为了减少分离和识别组件之间的错误成本不匹配，它们使用连接主义时间分类（CTC）损失函数或具有尺度不变信噪比（Si-SNR）错误成本的多任务标准插值进行联合微调。实验结果表明，该多通道AVSR系统在使用唇读句子2（LRS 2）数据集的模拟和重放构建的重叠语音上，其绝对词错误率（WER）分别比基线纯音频ASR系统降低了6.81%（相对值为26.83%）和22.22%（相对值为56.87%）.
2020-11-18 cs.CL cs.SD eess.AS
Oceanship: A Large-Scale Dataset for Underwater Audio Target Recognition
Shanghai Jiao Tong University（上海交通大学）
本文提出大规模水下音频数据集Oceanship（15类、121小时），并基于该数据集构建Oceannet基线模型，首次探索水下音频检索任务，在Deepship上取得R@1为67.11%、R@5为99.13%的性能。
2024-06-11 cs.CV cs.SD eess.AS
AudioInceptionNeXt: TCL AI LAB Submission to EPIC-SOUND Audio-Based-Interaction-Recognition Challenge 2023
TCL AI Lab（TCL人工智能实验室）
提出单流 CNN 架构 AudioInceptionNeXt，通过并行多尺度深度可分离卷积核处理对数梅尔谱图，在 EPIC-SOUNDS 2023 测试集上取得 55.43% top-1 准确率并位列第一。
2023-07-14 cs.AI cs.SD eess.AS
Robust LLM-based Audio-Visual Speech Recognition with Sparse Modality Alignment and Visual Unit-Guided Refinement
School of Computer Science, Wuhan University, China（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University, China（武汉大学人工智能学院）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）人工智能学院）；AI Center, OPPO, China（OPPO人工智能中心）；Digital Innovation Research Center, Duke Kunshan University, China（杜克大学昆山数字创新研究中心）
本文提出AVUR-LLM，通过稀疏模态对齐和视觉单元引导细化，提升音频视觉语音识别的鲁棒性，在LRS3数据集上取得显著性能提升。
2026-03-04 cs.MM cs.SD eess.AS
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能，嘈杂的环境。因此，需要探索一种有效的视听融合策略，以保证视听对齐和模态可靠性。不同于以前的端到端的方法，其中的视听融合进行编码后，每一个模态，在本文中，我们建议将一个专注的融合块到编码过程中。结果表明，在编码器模块中提出的视听融合方法可以丰富视听表示，因为这两种模态之间的相关性被利用。根据基于变换器的架构，我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流，削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明，与现有方法相比，该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Integrating Audio Narrations to Strengthen Domain Generalization in Multimodal First-Person Action Recognition
University of Pittsburgh（匹兹堡大学）
针对第一人称活动识别的域偏移问题，提出整合运动、音频、外观特征的多模态框架，通过音频旁白增强音文对齐等策略，在ARGO1M数据集上实现SOTA性能，提升跨场景泛化能力。
2024-09-15 cs.AI cs.CV cs.LG
