An Efficient GPU-based Implementation for Noise Robust Sound Source Localization
Dept. of Systems and Control Engineering, School of Engineering, Tokyo Institute of Technology(东京技术大学系统与控制工程系);Honda Research Institute Japan Co., Ltd.(本田研究机构日本株式会社);NTT Software Innovation Center(NTT软件创新中心);Dept. of Information and Computer Science, Keio University(Keio大学信息与计算机科学系)
本文提出在HARK平台中利用GPU加速基于GSVD-MUSIC的抗噪声源定位,在嵌入式与服务器设备上分别实现数千倍GSVD加速和十余倍SSL模块加速,使大规模麦克风阵列实时处理成为可行。
2025-05-08 cs.RO cs.SD eess.AS
ASCMamba: Multimodal Time-Frequency Mamba for Acoustic Scene Classification
School of Marine Science and Technology, Northwestern Polytechnical University, Xi’an, China(海洋科学与技术学院,西北工业大学,西安,中国);School of Automation, Northwestern Polytechnical University, Xi’an, China(自动化学院,西北工业大学,西安,中国);School of Electrical Engineering, KAIST, Daejeon, Republic of Korea(电气工程学院,韩国成均馆大学,大田,韩国)
针对APSIPA ASC 2025挑战赛的多模态ASC任务,提出整合音频与文本信息的ASCMamba网络,通过DenseEncoder提取频谱特征、双路径Mamba块捕捉时频依赖及两步伪标签机制,性能优于所有参赛团队且较基线提升6.2%。
2025-08-25 cs.SD
Audio Self-supervised Learning: A Survey
University of Augsburg(奥格斯堡大学);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校);Beijing Institute of Technology(北京理工大学);Imperial College London(帝国理工学院)
受人类概括知识和技能的认知能力的启发,自监督学习(SSL)的目标是从大规模数据中发现一般表示,而不需要人工注释,这是一项昂贵且耗时的任务。它在计算机视觉和自然语言处理领域的成功促使其最近被应用于音频和语音处理领域。目前缺少总结音频SSL知识的综合评论。为了填补这一空白,在目前的工作中,我们提供了用于音频和语音处理应用程序的SSL方法的概述。在这里,我们还总结了经验的工作,利用音频模态的多模态SSL框架,和现有的合适的基准来评估SSL的功率在计算机听觉域。最后,我们讨论了音频SSL的一些开放性问题,并指出了未来的发展方向。
2022-03-02 cs.AI cs.SD eess.AS
Audiovisual Singing Voice Separation
University of Rochester(罗切斯特大学);ByteDance Inc.(字节跳动公司)
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题,近年来,使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息,以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入,并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性,我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集,分别用于训练和评估,一个来自互联网上的试听录音,另一个来自内部录音。在大多数测试录音的分离质量方面,所提出的方法优于基于音频的方法。当伴奏中有伴唱时,这种优势尤其明显,这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
MAST: Label-Efficient, Robust, and Generalizable Sound Detection for Biodiversity Monitoring via Masked Audio Pretraining and Self-Training
University of Wisconsin--Madison(威斯康星大学麦迪逊分校)
提出MAST框架,结合掩码音频预训练、对比学习和自训练,在无需额外标注下提升跨域声学检测的鲁棒性,在雨林和鸟类数据集上分别实现+0.22/+0.24和+0.12/+0.10的mAP/F1提升。
2026-09-15 cs.LG cs.SD
IMPACT: Iterative Mask-based Parallel Decoding for Text-to-Audio Generation with Diffusion Modeling
Amazon AGI(亚马逊AGI)
本文提出IMPACT框架,通过在连续潜在空间中结合扩散建模与迭代掩码并行解码,在保证音频质量的同时显著降低文本到音频生成的推理延迟,并在AudioCaps上取得最先进性能。
2025-05-31 cs.SD eess.AS
Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model
Tsinghua University(清华大学);Universität Hamburg(汉堡大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
本文提出轻量级音视频迭代模型AVLIT,采用渐进学习和共享权重的A-FRCNN块,在噪声环境下实现高效音视频语音分离,实验证明其性能优于多种基线且适用于低资源场景。
2023-05-31 cs.LG cs.SD eess.AS
A Study of Designing Compact Audio-Visual Wake Word Spotting System Based on Iterative Fine-Tuning in Neural Network Pruning
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院);iFlytek Research(科大讯飞研究院)
由于信号传输中的环境干扰,仅基于音频的唤醒字定位(WWS)在噪声条件下具有挑战性。在本文中,我们研究设计一个紧凑的视听WWS系统,利用视觉信息,以减轻退化。具体来说,为了使用视觉信息,我们首先使用MobileNet将检测到的嘴唇编码为固定大小的向量,并将它们与声学特征连接起来,然后使用WWS的融合网络。然而,基于神经网络的视听模型需要大的足迹和高的计算复杂性。为了满足应用需求,我们引入了一个神经网络修剪策略,通过彩票假设在迭代微调的方式(LTH-IF),单模态和多模态模型,分别。测试我们的内部语料库的视听WWS在家庭电视场景中,建议的视听系统实现了显着的性能改善,在不同的噪声条件下的单模态(音频或视频)系统。此外,LTH-IF修剪可以在不降低WWS性能的情况下大大减少网络参数和计算,从而为TV唤醒场景提供潜在的产品解决方案。
2022-02-17 cs.AI cs.CV cs.LG
Play It Back: Iterative Attention for Audio Recognition
Vrije University of Brussels(布鲁塞尔自由大学);Interuniversity Microelectronics Centre(校际微电子中心);University of Bristol(布里斯托大学)
听觉认知的一个关键功能是随着时间的推移将特征声音与其相应的语义相关联。试图区分细粒度音频类别的人类通常会重播相同的区分声音以增加其预测置信度。我们提出了一个端到端的注意力为基础的架构,通过选择性重复出席在整个音频序列的最具歧视性的声音。我们的模型最初使用完整的音频序列,并迭代地细化基于时隙注意力重放的时间段。在每次回放时,使用表示这些段内的较高分辨率特征的较小跳长来重放所选择的段。我们表明,我们的方法可以在三个音频分类基准:AudioSet,VGG-Sound和EPIC-KITCHENS-100中始终实现最先进的性能。
2023-03-12 cs.CV cs.LG cs.SD
Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
ETH-DISCO
该研究针对神经音频编解码器从粗令牌重合成高质量音频的问题,提出几何迭代检索方法,在语音和音乐编解码器恢复任务上优于单次令牌预测和单步回归基线。
2026-08-20 cs.LG cs.SD
WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis
Google Brain(谷歌大脑)
介绍了一种用于文本转语音合成的非自回归生成模型WaveGrad 2。WaveGrad 2被训练以估计给定音素序列的波形的对数条件密度的梯度。该模型采用输入音素序列,并通过迭代细化过程,生成音频波形。这与原始WaveGrad声码器形成对比,原始WaveGrad声码器以由单独模型生成的梅尔频谱图特征为条件。迭代细化过程从高斯噪声开始,并且通过一系列细化步骤(例如,50步),逐步恢复音频序列。WaveGrad 2提供了一种自然的方式,通过调整细化步骤的数量,在推理速度和样本质量之间进行权衡。实验表明,该模型能够产生高保真的音频,接近最先进的神经文语转换系统的性能。我们还报告了不同模型配置的各种消融研究。音频样本可在https://wavegrad.github.io/v2上获得。
2021-06-19 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation via Bottleneck Iterative Network
Manning College of Information \& Computer Sciences, University of Massachusetts Amherst, Amherst, U.S.;Dolby Laboratories, San Francisco, U.S.
提出瓶颈迭代网络(BIN),通过融合令牌瓶颈化融合表示并反复经过轻量级融合块来细化特征,在音视频语音分离任务上以更少训练与推理时间超越现有基准。
2025-07-09 cs.MM cs.SD eess.AS
Iterative Residual Cross-Attention Mechanism: An Integrated Approach for Audio-Visual Navigation Tasks
Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center, School of Computer Science and Technology, Xinjiang University(新疆多模态智能处理与信息安全工程技术创新中心,计算机科学与技术学院,新疆大学);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);School of Electrical Engineering and Automation, Tianjin University of Technology(电气工程与自动化学院,天津工业大学)
针对传统视听导航分阶段模块化方法存在的信息冗余与传递不一致问题,提出集成多模态融合与序列建模的端到端IRCAM-AVN框架,通过多级残差设计优化特征提取,提升模型稳定性与导航性能。
2025-09-30 cs.AI cs.MM cs.SD
Iterative Audio Separation with Mixture Consistency via MIMO Model Extension
本文提出一种通用框架,通过将源分离模型扩展为多输入多输出(MIMO)配置,实现稳定有效的迭代音频分离,同时保持混合一致性,并在最先进模型上取得显著性能提升。
2026-09-09 cs.LG cs.SD
Step-Audio-EditX Technical Report
StepFun
本文提出首个基于开源LLM的音频模型Step-Audio-EditX,仅用大间隔合成数据实现高表现力迭代音频编辑与零样本TTS,在细粒度音频控制任务上性能优于两款主流TTS模型。
2025-11-19 cs.AI cs.CL cs.HC
Unsupervised Sound Localization via Iterative Contrastive Learning
National Yang Ming Chiao Tung University(国立阳明交通大学);University of California Merced(加州大学默塞德分校);Snap Inc.(Snap公司);Google Research(谷歌研究院)
声音定位的目的是在视觉场景中找到音频信号的来源。然而,注释从音频和视觉模态采样的信号之间的相关性是劳动密集型的,因此很难监督机器学习这项任务。在这项工作中,我们提出了一个迭代的对比学习框架,不需要数据注释。在每次迭代时,所提出的方法将1)在先前迭代中预测的图像中的定位结果,以及2)从音频信号推断的语义关系作为伪标签。然后,我们使用伪标签来学习从同一视频中采样的视觉和音频信号之间的相关性(帧内采样)以及跨视频提取的视觉和音频信号之间的关联性(帧间关系)。我们的迭代策略逐渐鼓励发声对象的本地化,并减少非发声区域和参考音频之间的相关性。定量和定性的实验结果表明,该框架表现良好,对现有的无监督和弱监督的声音定位任务的方法。
2021-04-01 cs.CV cs.SD eess.AS
DoubleHelix: Structured Cross-Modal Fusion for Audio-Visual Speech Recognition with LLMs
该研究针对视听语音识别跨模态融合缺乏结构化迭代优化的问题,提出DoubleHelix融合框架,通过三个组件实现迭代交互与退化感知增强,在LRS3数据集上大幅降低词错误率并提升噪声鲁棒性。
2026-08-03 cs.AI cs.SD
AudioGenie-Reasoner: A Training-Free Multi-Agent Framework for Coarse-to-Fine Audio Deep Reasoning
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent AI Lab(腾讯AI实验室)
提出无需训练的音频深度推理多智能体框架AGR,通过将音频转为文本并迭代精炼证据链,实现从粗到细的推理,达到SOTA性能。
2025-10-15 cs.SD eess.AS
SelfVC: Voice Conversion With Iterative Refinement using Self Transformations
NVIDIA(英伟达);UC San Diego(加州大学圣迭戈分校)
SelfVC 提出利用自合成样本迭代训练语音转换模型,在纠缠表征上实现可控转换,无需文本即可在零样本语音转换中取得最优自然度、说话人相似度和可懂度。
2024-05-03 cs.AI cs.SD eess.AS
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation
从特定领域进行高质量的数据标记是昂贵的,并且耗时。在这项工作中,我们提出了一个自我监督的领域自适应方法,基于迭代伪强制对齐算法。所产生的对齐被用于定制端到端自动语音识别(ASR)并迭代地细化。该算法由种子ASR产生的逐帧字符后验提供,用域外数据进行训练,并在整个连接主义时间分类(CTC)损失中进行优化。在广播电视的语料库上迭代地计算对准。通过减少要对齐的文本数量或扩大对齐窗口来重复该过程,直到找到最佳的音频-文本对齐。起始时间戳或时间锚是基于最后对齐的话语的置信度分数唯一地产生的。这个分数是用CTC比对矩阵的路径计算的。使用这种方法,不需要人工修改的文本参考。来自具有低质量透明度的长音频文件的对齐(如电视字幕)通过置信度分数过滤掉,并准备好进一步的ASR适配。在西班牙RTVE 2022和CommonVoice数据库上获得的结果支持了使用基于CTC的系统执行以下操作的可行性:高度准确的音频文本对齐、领域自适应和端到端ASR的半监督训练。
2023-01-15 cs.CL cs.SD eess.AS
Self-Supervised Audio-and-Text Pre-training with Extremely Low-Resource Parallel Data
TAL Education Group(好未来教育集团);Tencent(腾讯)
音频和文本的多模态预训练最近被证明是有效的,并显着提高了许多下游语音理解任务的性能。然而,这些最先进的预训练音频文本模型只有在提供大量的并行音频和文本数据时才能很好地工作,这给许多拥有丰富的单模态语料库但缺乏并行跨模态语料库的语言带来了挑战。在本文中,我们研究是否有可能预训练音频文本多模态模型与极低资源的并行数据和额外的非并行单峰数据。我们的预训练框架由以下组件组成:(1)模态内去噪自动编码(IDAE),它能够从自身的噪声版本中重建输入文本(音频)表示。(2)跨模态去噪自动编码(CDAE),预先训练以重建输入文本(音频),给定输入文本(音频)的噪声版本和相应的翻译噪声音频特征(文本嵌入)。(3)迭代去噪过程(IDP),迭代地将原始音频(文本)和从先前迭代转换的相应文本嵌入(音频特征)转换为新的噪声较小的文本嵌入(音频特征)。我们采用双交叉模态Transformer作为我们的骨干模型,它包括两个IDAE的单峰编码器和两个CDAE和IDP的交叉模态编码器。与在完全并行数据上预训练的模型相比,我们的方法在多个下游语音理解任务上实现了相当的性能,证明了所提出的方法的巨大潜力。我们的代码可从以下网址获得:\url{https://github.com/KarlYuKang/Low-Resource-Multimodal-Pre-training}。
2022-04-10 cs.LG cs.SD eess.AS
Consistent Iterative Hard Thresholding For Signal Declipping
NXP Software(NXP软件)
音频信号中的削波或饱和是信号处理中非常常见的问题,在严重的情况下,仍然没有令人满意的解决方案。在这种情况下,存在巨大的信息损失,并且传统方法不能适当地恢复信号。我们提出了一种新的方法,这种信号恢复问题的基础上的框架迭代硬抑制。这种方法,它强制执行的一致性的重建信号与剪切观察,表现出优越的性能相比,国家的最先进的declipping算法。这在合成和实际高维音频数据处理上、在SNR和主观用户收听评估上都得到了证实。
2013-03-13 cs.SD
AQP: An Open Modular Python Platform for Objective Speech and Audio Quality Metrics
University College Dublin(都柏林大学学院);University of Warwick(华威大学)
音频质量评估是信号处理领域的一个研究热点。全面参考客观指标(例如,POLQA、ViSQOL)已经被开发用于仅依赖于人类评级实验来估计音频质量。为了评估新的音频处理技术的音频质量,研究人员经常需要比较客观的质量指标。测试相同指标的不同实现和评估新数据集是基本的和持续的迭代活动。在本文中,我们介绍了AQP -一个开源的,基于节点的,轻量级的Python管道,用于音频质量评估。AQP允许研究人员测试和比较客观的质量指标,有助于提高鲁棒性,可重复性和开发速度。我们介绍了平台,解释了动机,并举例说明如何使用AQP,客观的质量指标可以(i)比较和基准;(ii)原型和适应模块化的方式;(iii)可视化和检查错误。该代码已在GitHub上共享,以鼓励社区采用和贡献。
2022-06-30 cs.SD eess.AS
Fast Text-to-Audio Generation with One-Step Sampling via Energy-Scoring and Auxiliary Contextual Representation Distillation
National Taiwan University(国立台湾大学);Amazon AGI(亚马逊人工智能实验室)
本文提出了一种结合能量距离训练和表示层蒸馏的一步采样框架,有效提升了文本到音频生成的速度与质量,在AudioCaps基准上优于现有方法,达到与多步采样扩散模型相当的性能。
2026-05-01 cs.SD eess.AS
Masked Autoregressive Speech Enhancement with Continuous Neural Audio Codec Representations
CentraleSupélec(中央高等电力学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔综合理工学院);GIPSA-lab(吉普萨实验室)
该研究提出MARSE方法,利用连续NAC表示迭代解码掩码纯净语音帧,可灵活权衡语音增强性能与计算成本。
2026-09-04 cs.AI cs.SD
An automatic mixing speech enhancement system for multi-track audio
Queen Mary University of London(伦敦玛丽女王大学)
本文提出一种基于ITU-R BS.1387 PEAQ模型和迭代Harmony搜索算法的多轨音频自动混音语音增强系统,通过优化电平、均衡、压缩和空间化等效果最小化听觉掩蔽,主观测试表明其混音质量可媲美专业工程师并优于现有自动混音系统。
2024-10-18 cs.MM cs.SD eess.AS
BEATs: Audio Pre-Training with Acoustic Tokenizers
Microsoft(微软)
在过去的几年里,自我监督学习(SSL)在语言、视觉、语音和音频领域中得到了大规模的发展。虽然离散标签预测被广泛用于其他模态,但最先进的音频SSL模型仍然采用重建损失进行预训练。与重建损失相比,语义丰富的离散标签预测鼓励SSL模型抽象高级音频语义并丢弃人类感知中的冗余细节。然而,由于音频的连续性和不可用的音素序列(如语音),用于一般音频预训练的语义丰富的声学分词器通常不是直接获得的。为了应对这一挑战,我们提出了BEAT,这是一种迭代音频预训练框架,用于从音频Transformers学习双向编码器表示,其中声学标记器和音频SSL模型通过迭代进行优化。在第一次迭代中,我们使用随机投影作为声学标记器,以掩码和标签预测的方式训练音频SSL模型。然后,我们通过从预训练或微调的音频SSL模型中提取语义知识,为下一次迭代训练声学标记器。重复迭代,希望声学标记器和音频SSL模型相互促进。实验结果表明,我们的声学标记器可以生成具有丰富音频语义的离散标签,并且我们的音频SSL模型在各种音频分类基准中实现了最先进的结果,甚至优于使用更多训练数据和模型参数的先前模型。具体来说,我们在AudioSet-2 M上为纯音频模型设置了一个新的最先进的mAP 50.6%,而不使用任何外部数据,在ESC-50上设置了98.1%的准确率。代码和预训练模型可在https://aka.ms/beats上获得。
2022-12-18 cs.AI cs.CL cs.LG
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
语音的视频记录包含相关的音频和视觉信息,为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT(AV-HuBERT),一个自监督的表示学习框架的视听语音,掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示,同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3(433小时)中,AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER,优于之前用1000倍的转录视频数据(31 K小时)训练的最先进的方法(33.6%)。当使用来自LRS 3的所有433小时标记数据并结合自我训练时,唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别,导致相对于最先进的性能(1.3%vs 2.3%)的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
FAAG: Fast Adversarial Audio Generation through Interactive Attack Optimisation
Swinburne University of Technology(斯威本科技大学);James Cook University(詹姆斯·库克大学);Deakin University(迪肯大学)
自动语音识别服务(ASR)继承了深度神经网络的漏洞,如精心制作的对抗性示例。现有的方法通常效率低下,因为目标相位被添加到整个音频样本中,导致对计算资源的高需求。本文提出了一种名为FAAG的新方案,作为一种基于迭代优化的方法来快速生成有针对性的对抗性示例。通过在音频的开始部分注入噪声,FAAG以高的成功率及时生成高质量的对抗性音频。具体来说,我们使用音频的logits输出将转录中的每个字符映射到音频帧的近似位置。因此,FAAG仅使用CPU就可以在大约两分钟内生成一个对抗性示例,使用一个GPU大约需要十秒,同时保持平均成功率超过85%。具体来说,在对抗性示例生成过程中,FAAG方法与基线方法相比可以加快60%左右。此外,我们发现,附加良性音频到任何可疑的例子可以有效地抵御有针对性的对抗攻击。我们希望这项工作为发明新的针对具有计算约束的语音识别的对抗攻击铺平道路。
2022-02-11 cs.CR cs.SD eess.AS
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题,提出基于一致性模型的Music2Latent音频自编码器,通过多项创新实现单步高保真重建,性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
Training-Free Multi-Step Audio Source Separation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Chinese University of Hong Kong(香港中文大学)
提出一种免训练的多步音频源分离推理方法,通过迭代混合输入与上一步结果并优化混合比例,显著提升分离性能,且无需额外训练。
2025-05-26 cs.AI cs.LG cs.SD
Temporal-Aware Iterative Speech Model for Dementia Detection
Systems Engineering Department(系统工程系);Stevens Institute of Technology(史蒂文斯理工学院)
针对现有语音痴呆检测方法难以捕捉动态时间模式的问题,提出时间感知迭代框架TAI-Speech,通过迭代优化与韵律对齐两项创新建模语音时序演变,在DementiaBank数据集上取得优于文本基线的检测效果,为自动化认知评估提供更鲁棒的方案。
2025-09-26 cs.AI cs.SD eess.AS
Declipping of Speech Signals Using Frequency Selective Extrapolation
University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
在音频信号处理中,对削波后的语音信号进行重构是一项重要的任务,以提高音频质量,便于进一步处理。在本文中,频率选择性外推(FSE),这是通常用于错误隐藏或不完整的图像数据的重建,是适应能够恢复音频信号从削波失真。为此,FSE生成信号的模型作为傅立叶基函数的迭代叠加。然后,可以用来自模型的估计样本替换裁剪样本。使用不同的语音测试数据集对算法的性能进行了评估。与其他最先进的去唇算法相比,这导致SNR的最大增益高达3:5 dB,平均增益为1 dB。
2022-04-07 cs.SD eess.AS
Explainability Paths for Sustained Artistic Practice with AI
Concordia University(康考迪亚大学)
本文基于生成音频模型的研究创作实践,提出通过增强人类对训练数据与过程的控制、采用小规模数据集及交互式机器学习等路径,提升AI生成音频系统的可解释性,以支持持续艺术实践。
2024-07-21 cs.AI cs.SD eess.AS
Listen to Look: Action Recognition by Previewing Audio
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
面对视频数据的泛滥,如今昂贵的剪辑级分类器越来越不实用。我们提出了一个框架,在未经修剪的视频,使用音频作为预览机制,以消除短期和长期的视觉冗余的有效动作识别。首先,我们设计了一个ImgAud 2 Vid框架,该框架通过从较轻的模态-单个帧及其伴随的音频-中提取来实现剪辑级功能,从而减少短期时间冗余以实现高效的剪辑级识别。其次,在ImgAud 2 Vid的基础上,我们进一步提出了ImgAud-Skimming,一种基于注意力的长短期记忆网络,它迭代地选择未修剪视频中的有用时刻,减少长期时间冗余,以实现高效的视频级识别。在四个动作识别数据集上的大量实验表明,我们的方法在识别精度和速度方面都达到了最先进的水平。
2020-03-28 cs.CV cs.LG cs.SD
Diffusion-based Unsupervised Audio-visual Speech Enhancement
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学与应用实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本研究提出一种结合扩散视听语音生成模型与NMF噪声模型的无监督AVSE方法,通过迭代后验采样估计干净语音,在性能、泛化性及速度-性能平衡上均优于对比方法。
2025-01-15 cs.AI cs.CV cs.LG
Beyond Griffin-Lim: Improved Iterative Phase Retrieval for Speech
Universität Hamburg(汉堡大学);DESY(德国电子同步加速器研究所)
相位恢复不仅是语音和音频处理中遇到的问题,而且在许多其他领域,如光学中也遇到了问题。基于非凸集投影的迭代算法是有效的,并且经常用于在只有STFT幅度可用时检索相位。虽然基本的Griffin-Lim算法及其变体几十年来一直是流行的方法,但最近的进展,例如光学,提出了一个问题:我们是否可以使用相同的迭代投影原理,对语音信号做得比Griffin-Lim更好?在本文中,我们比较了经典的算法在语音域与两个现代的方法从光学方面的重建质量和收敛速度。基于这项研究,我们建议结合Griffin-Lim与差分映射算法在一个混合的方法,表现出优越的结果,在收敛性和最终重建的质量。
2022-05-11 cs.SD eess.AS eess.SP
Audio-Visual Speech Enhancement in Noisy Environments via Emotion-Based Contextual Cues
School of Computing, Edinburgh Napier University(爱丁堡龙比亚大学计算学院);Center for Information Technology and Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
本文提出一种情感感知的音视频语音增强系统,通过从面部关键点提取情感特征并与音视频模态融合,输入基于UNet的编码器-解码器网络,在CMU-MOSEI数据集上验证了情感上下文线索能显著提升噪声环境下的语音质量和可懂度。
2024-02-26 cs.SD eess.AS
DALI: a large Dataset of synchronized Audio, LyrIcs and notes, automatically created using teacher-student machine learning paradigm
Ircam Lab(Ircam实验室);CNRS(法国国家科学研究中心)
本文的目的是双重的。首先,我们介绍了DALI,一个大型而丰富的多模态数据集,包含5358个音轨,其时间对齐的声乐旋律音符和歌词在四个粒度级别。第二个目标是解释我们的方法,其中数据集创建和学习模型使用师生机器学习范式进行交互,使彼此受益。我们从一组手工注释的草稿时间对齐的歌词和笔记由Karamas游戏的非专家用户。这套没有音频。因此,我们需要找到相应的音频和适应它的注释。为此,我们从Web检索音频候选。然后,每个候选人都可以使用教师(一种深度卷积神经网络唱歌声音检测系统(SVD))随着时间的推移转换为唱歌声音概率,该系统在经过清理的数据上进行训练。比较时间对齐的歌词和歌唱的声音概率,我们检测匹配,并相应地更新时间对齐的歌词。由此,我们获得了新的音频集。然后,它们被用于训练新的SVD学生,用于再次执行上述比较。该过程可以迭代地重复。我们表明,这可以逐步提高我们的SVD的性能,并获得更好的音频匹配和对齐。
2019-06-25 cs.DB cs.LG cs.SD
WaveGrad: Estimating Gradients for Waveform Generation
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
本文介绍了WaveGrad,波形生成的条件模型,估计梯度的数据密度。该模型是建立在得分匹配和扩散概率模型的工作。它从高斯白噪声信号开始,并通过基于梅尔谱图的基于梯度的采样器迭代地细化信号。WaveGrad提供了一种自然的方式,通过调整细化步骤的数量来权衡推理速度和样本质量,并在音频质量方面弥合了非自回归模型和自回归模型之间的差距。我们发现,它可以生成高保真度的音频样本,只需六次迭代。实验表明,WaveGrad可以生成高保真音频,优于对抗性非自回归基线,并使用更少的顺序操作匹配基于强似然性的自回归基线。音频样本可在https://wavegrad.github.io/上获得。
2020-10-09 cs.LG cs.SD eess.AS
Autoregressive Diffusion Transformer for Text-to-Speech Synthesis
School of Data Science(数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出ARDiT,将音频编码为连续向量并用自回归扩散Transformer生成,结合IKL蒸馏实现单步采样,在零样本文本到语音和语音编辑上达到或超越最先进模型,同时显著降低采样延迟。
2024-06-08 cs.AI cs.CL cs.LG
Learning Phone Recognition from Unpaired Audio and Phone Sequences Based on Generative Adversarial Network
National Taiwan University(台湾大学)
最近,ASR已被证明实现了出色的性能。然而,它们中的大多数依赖于大量的配对数据,这对于世界范围内的低资源语言来说是不可行的。本文研究了如何直接从非成对音素序列和语音话语中学习。我们设计了一个两阶段的迭代框架。第一阶段采用GAN训练,寻找非成对语音与音素序列之间的映射关系。在第二阶段,另一个HMM模型被引入到训练从生成器的输出,这提高了性能,并提供了一个更好的分割为下一次迭代。在实验中,我们首先研究了不同的模型设计选择。然后,我们将框架与不同类型的基线进行比较:(i)监督方法(ii)基于声学单元发现的方法(iii)从非配对数据学习的方法。我们的框架始终比所有的声学单元发现方法和以前的方法学习不成对的数据的基础上TIMIT数据集。
2022-07-29 cs.CL cs.SD eess.AS
Zero-Shot Mono-to-Binaural Speech Synthesis
Google Research(谷歌研究);Google DeepMind(谷歌DeepMind)
提出首个零样本神经方法 ZeroBAS,利用无参数几何变换与预训练去噪声码器,从单耳音频和位置信息合成双耳音频,在分布外数据上超越监督方法。
2025-05-28 cs.LG cs.SD eess.AS
Unleashing the Power of Natural Audio Featuring Multiple Sound Sources
Zhejiang University(浙江大学)
针对自然混合音频中通用声音分离泛化不足的问题,提出ClearSep框架,利用数据引擎分解音频并采用重混评估指标迭代优化,实现多任务最先进性能。
2025-04-24 cs.LG cs.SD
An Iterative Linearised Solution to the Sinusoidal Parameter Estimation Problem
CSIRO ICT Centre(联邦科学与工业研究组织信息与通信技术中心);CSIRO Tasmanian ICT Centre(联邦科学与工业研究组织塔斯马尼亚信息与通信技术中心);RedHat Inc.(红帽公司)
信号处理应用使用正弦建模用于语音合成、语音编码和音频编码。模型参数的估计涉及非线性优化方法,这对于实时应用来说可能非常昂贵。我们提出了一个低复杂度的迭代法,从初始频率估计和收敛迅速。我们表明,对于长度为L的帧中的N个正弦曲线,所提出的方法的复杂度为O(LN),这是显着小于匹配追踪方法。此外,我们的实验表明,该方法比匹配追踪和时频重排方法更准确。
2016-02-17 cs.SD
Introducing Model Inversion Attacks on Automatic Speaker Recognition
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Technical University Munich(慕尼黑工业大学)
模型反演(MI)攻击允许重构机器学习(ML)模型的训练数据的平均每类表示。已经表明,在每个类别对应于不同个体的场景中,例如面部分类器,这代表了严重的隐私风险。在这项工作中,我们探索了MI的一个新的应用:从说话人识别系统中提取说话人的声音。我们提出了一种方法,(1)从训练的ML模型中重建音频样本,(2)提取中间语音特征表示,为说话者的生物特征提供有价值的见解。因此,我们提出了一个扩展的MI攻击,我们称之为滑动模型反演。我们的滑动MI扩展标准MI通过迭代反转重叠的音频样本块,从而利用音频数据的顺序属性增强反转性能。我们表明,人们可以使用反转的音频数据来生成欺骗的音频样本来模仿扬声器,并代表他们执行高度安全的系统的语音保护命令。据我们所知,我们的工作是第一个将MI攻击扩展到音频数据的工作,我们的结果突出了在该设置中提取生物特征数据所带来的安全风险。
2023-01-09 cs.CR cs.LG cs.SD
Selective Masking Adversarial Attack on Automatic Speech Recognition Systems
Wuhan University(武汉大学)
本文提出选择性掩蔽对抗攻击(SMA),针对双说话人同时发声的 ASR 场景,通过选择性掩蔽优化算法生成对抗样本,在 Conformer-CTC 上实现 100% 攻击成功率和 37.15dB 信噪比,优于现有基线。
2025-04-06 cs.CR cs.SD
AudioGenie: A Training-Free Multi-Agent Framework for Diverse Multimodality-to-Multiaudio Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent AI Lab(腾讯人工智能实验室)
提出免训练多智能体框架AudioGenie,通过生成与监督双层架构解决多模态到多音频生成中的理解不足、模型单一和缺乏自纠问题,并构建首个基准MA-Bench,在8任务9指标上达到SOTA或相当性能。
2025-08-05 cs.MA cs.MM cs.SD
E3 TTS: Easy End-to-End Diffusion-based Text to Speech
Google(谷歌公司)
本文提出 E3 TTS,一种无需中间表示和对齐信息的端到端扩散文本到语音模型,可直接从纯文本生成高保真音频,并支持零样本编辑等任务。
2023-11-02 cs.CL cs.LG cs.SD
Towards Evaluating the Robustness of Automatic Speech Recognition Systems via Audio Style Transfer
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);Nanyang Technological University(南洋理工大学)
针对现有ASR对抗攻击存在人工修改痕迹、风格可控性低的问题,提出基于用户自定义风格迁移的攻击方法,含STA与迭代式SCA,攻击成功率82%且保持音频自然度,为评估ASR鲁棒性提供新途径。
2024-05-15 cs.CR cs.LG cs.SD
Construction of a Large-scale Japanese ASR Corpus on TV Recordings
Laboro.AI, Inc.(Laboro.AI公司);The University of Tokyo(东京大学)
本文提出了一个新的大规模日语语音语料库的训练自动语音识别(ASR)系统。该语料库包含超过2,000小时的演讲,并根据日本电视录音及其字幕进行了转录。我们在这里开发了一个迭代的工作流程,以提取匹配的音频和字幕段从电视录像的基础上轻监督的音频到文本对齐的传统方法。我们使用建立在日本TEDx演示视频上的评估数据集来评估用我们的语料库训练的模型,并确认其性能优于用自发日语语料库(CSJ)训练的模型。实验结果表明,我们的语料库的有用性,培训ASR系统。该语料库与用于训练本文中报告的模型的Kaldi脚本一起向研究社区公开。
2021-03-26 cs.CL cs.SD eess.AS
Audio Event and Scene Recognition: A Unified Approach using Strongly and Weakly Labeled Data
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种新的学习框架,称为监督和弱监督学习,其目标是同时从弱标记和强标记数据中学习。强标记数据可以简单地理解为完全监督的数据,其中所有标记实例都可用。在弱监督学习中,只有数据是弱标记的,这阻止了人们直接应用监督学习方法。我们提出的框架是出于这样一个事实,即少量的强标记的数据可以给相当大的改善,只有弱监督学习。本文的主要问题域焦点是音频记录中的声事件和场景检测。我们首先提出了一个天真的配方,利用标记的数据在这两种形式。然后,我们提出了一个更一般的框架监督和弱监督学习(SWSL)。基于这个框架,我们提出了一个基于图的方法SWSL。我们的主要方法是基于图上的流形正则化,其中我们表明,统一学习可以制定为一个约束优化问题,可以通过迭代凹凸过程(CCCP)来解决。我们的实验表明,我们提出的框架可以解决几个问题的音频内容分析使用弱标记的数据。
2017-02-18 cs.CV cs.LG cs.SD
BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on Pop and Classical Music
University of California San Diego, USA(加州大学圣地亚哥分校)
BACHI通过掩码迭代解码实现流行与古典音乐的边界感知符号和弦识别,引入增强数据集并提出分解任务的模型,提升识别性能。
2026-02-05 cs.LG cs.SD eess.AS
CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model
Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院);Hong Kong Baptist University(香港浸会大学);Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院)
本文提出 CoMoSpeech,通过一致性模型将扩散语音合成压缩为单步采样,在保持高音频质量的同时实现比实时快150倍以上的推理速度,使扩散采样语音合成真正实用化。
2023-10-29 cs.AI cs.CL cs.LG