DoubleHelix: Structured Cross-Modal Fusion for Audio-Visual Speech Recognition with LLMs
该研究针对视听语音识别跨模态融合缺乏结构化迭代优化的问题,提出DoubleHelix融合框架,通过三个组件实现迭代交互与退化感知增强,在LRS3数据集上大幅降低词错误率并提升噪声鲁棒性。
2026-08-03 cs.AI cs.SD
Make Some Noise: Towards LLM audio reasoning and generation using sound tokens
KTH Royal Institute of Technology(瑞典皇家理工学院);Microsoft Research(微软研究院)
本研究提出结合变分量化与条件流匹配的音频标记方法,实现0.23kbps超低比特率离散标记,使LLM具备音频理解与生成能力,并在音频理解上达到先进水平,但生成效果有待提升。
2025-03-28 cs.AI cs.SD eess.AS
Bridging the Perception Gap: A Lightweight Coarse-to-Fine Architecture for Edge Audio Systems
Duke University(杜克大学)
CoFi-Agent通过工具增强的条件边缘-云协作,在边缘音频系统中实现了更高效的感知与准确性提升。
2026-01-22 cs.LG cs.SD eess.AS
Conditional Adversarial Fragility in Financial Machine Learning under Macroeconomic Stress
本研究探讨了金融机器学习中宏观经济压力对对抗鲁棒性的影响,发现压力环境下模型对抗脆弱性显著增加,提出基于制度意识的评估框架及解释性治理层。
2025-12-22 cs.AI cs.CR cs.LG
Audio-Mind: An Auditable Agentic Framework for Audio Understanding
School of Intelligence Science and Technology, Nanjing University, China(南京大学智能科学与技术学院);Department of Computer Science, ETH Zürich, Switzerland(苏黎世联邦理工学院计算机科学系);X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, China(上海交通大学计算机科学学院X-LANCE实验室);School of Automation Science and Engineering, Xi’an Jiaotong University, China(西安交通大学自动化科学与工程学院);School of Computer Science, Northwestern Polytechnical University, China(西北工业大学计算机科学学院)
提出Audio-Mind框架,通过条件性证据获取动态结合强前端与规划器引导的工具使用,解决音频理解中智能体证据获取的时机问题,在MMAR和MSU-Bench上分别达到80.4%和82.8%的准确率,并生成可审计的推理轨迹。
2026-05-27 cs.SD eess.AS
Audio LLMs Know When They Can't Hear You
Apple(苹果公司);University of California San Diego(加州大学圣地亚哥分校)
本文研究音频大语言模型能否识别自身转录的不可靠性,发现其自评能力差,但音频编码器表示可强预测可靠性,据此提出轻量级预测器,域内和跨域宏F1分别达81.10%和78.09%,优于基线。
2026-09-30 cs.AI
TAD: Token-Adaptive Contrastive Decoding with Confidence-Guided Gating for Hallucination Mitigation in Large Audio-Language Models
Information Engineering University(信息工程大学)
针对大型音频语言模型的幻觉问题,提出无需训练的令牌自适应对比解码(TAD),通过置信度引导门控对比真实与静音音频逻辑分数,在多个基准上显著提升F1分数。
2026-09-09 cs.CL cs.CV cs.SD
SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation
SpA2V通过利用空间听觉线索生成与输入音频在语义和空间上一致的视频,改进了现有方法对语义信息的依赖,提出两阶段框架实现视频场景布局生成与生成。
2025-08-01 cs.AI cs.CV cs.GR
Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation
Tianjin University(天津大学);Shanghai Jiao Tong University(上海交通大学);Nankai University(南开大学)
提出ELF-S2T,一种基于预训练ELF骨干的音频条件连续目标生成模型,通过音频强制训练和分类器自由引导,在LibriSpeech和CoVoST2上实现竞争性ASR和S2TT性能,并揭示识别与翻译错误均源于连续潜空间中的近距离混淆。
2026-06-09 cs.AI cs.SD
Coherent Audio-Visual Editing via Conditional Audio Generation Following Video Edits
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
本文提出一种联合音频视觉编辑 pipeline,通过条件音频生成实现视频编辑与音频的协调一致,实验表明其在保持音频视觉一致性方面优于现有方法。
2026-03-16 cs.LG cs.MM cs.SD
Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows
CMU / MBZUAI DAMO Academy, Alibaba Group(卡内基梅隆大学 / MBZUAI 大学 DAMO 院,阿里巴巴集团);DAMO Academy, Alibaba Group(DAMO 院,阿里巴巴集团);Hupan Laboratory(虎盘实验室)
FoleyFlow通过掩码建模和动态条件流实现视频到音频的协调生成,提升语义与节奏一致性。
2026-03-09 cs.AI cs.CV cs.LG
SmoothSinger: A Conditional Diffusion Model for Singing Voice Synthesis with Multi-Resolution Architecture
George Washington University(乔治华盛顿大学)
提出条件扩散模型SmoothSinger,在统一框架中直接优化低质量音频,采用双分支架构与低频上采样路径增强去噪与音高捕捉,在Opencpop数据集上达到最优效果。
2025-06-26 cs.AI cs.SD
Towards Lightweight Controllable Audio Synthesis with Conditional Implicit Neural Representations
University of Amsterdam(阿姆斯特丹大学);Royal Conservatoire The Hague(海牙皇家音乐学院);AMLab(阿姆斯特丹机器学习实验室)
音频的高时间分辨率和我们对波形中的小不规则性的感知敏感性使得以高采样率进行合成成为复杂且计算密集的任务,从而在许多方法中禁止实时可控合成。在这项工作中,我们的目标是阐明条件隐式神经表征(CINRs)作为音频合成生成框架中的轻量级骨干的潜力。我们的实验表明,小的周期性条件INR(PCINR)学习速度更快,通常比具有相同参数计数的转置卷积神经网络产生定量更好的音频重建。然而,它们的性能对激活缩放超参数非常敏感。当学习表示更均匀的集合时,PCINR倾向于在重建中引入人工高频分量。我们验证了这种噪声可以通过在训练过程中应用标准权重正则化或降低PCINR的组成深度来最小化,并为未来的研究提出了方向。
2021-12-02 cs.LG cs.SD
JukeDrummer: Conditional Beat-aware Audio-domain Drum Accompaniment Generation via Transformer VQ-VAE
Academia Sinica(中央研究院);National Cheng Kung University(台湾成功大学);Taiwan AI Labs(台湾人工智能实验室)
本文提出了一种模型,该模型在音频域中生成鼓轨道,以与用户提供的无鼓录音一起播放。具体来说,使用成对的数据的无鼓轨道和相应的人造鼓轨道,我们训练一个Transformer模型即兴鼓的一个看不见的无鼓记录的一部分。我们结合两种方法来编码输入音频。首先,我们训练一个矢量量化变分自编码器(VQ-VAE)来表示输入音频与离散代码,然后可以很容易地用于Transformer。其次,使用音频域节拍跟踪模型,我们计算输入音频的节拍相关特征,并将其用作Transformer中的嵌入。我们使用一个单独的VQ-VAE来将鼓音轨的梅尔频谱图编码成另一组离散代码,并训练Transformer来预测与鼓相关的离散代码的序列,而不是将鼓音轨直接生成为波形。然后,输出代码用解码器转换为梅尔频谱图,然后用声码器转换为波形。我们报告所提出的模型的变体的客观和主观评价,表明该模型与节拍信息生成鼓伴奏,是节奏和风格上与输入音频一致。
2022-10-31 cs.AI cs.LG cs.SD
In-Context Prompt Editing For Conditional Audio Generation
Meta AI;Saarland University(萨尔大学)
针对真实用户提示词导致文本到音频生成质量下降的问题,本文提出基于检索的上下文内提示词编辑框架,利用训练字幕作为示范改写提示词并提升音频质量。
2023-11-01 cs.CL cs.SD eess.AS
Contrastive Conditional Latent Diffusion for Audio-visual Segmentation
School of Electronics and Information, Northwestern Polytechnical University(电子与信息学院,西北工业大学);Shanghai AI Laboratory(上海人工智能实验室);Shaanxi Key Laboratory of Information Acquisition and Processing(信息获取与处理陕西省重点实验室)
本文提出对比条件潜在扩散模型用于视听分割,通过密度比优化和对比学习约束最大化音频对分割的贡献,并在基准数据集上验证了有效性。
2025-07-01 cs.CV cs.MM cs.SD
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
PTQ4ADM: Post-Training Quantization for Efficient Text Conditional Audio Diffusion Models
University of California, Davis(加州大学戴维斯分校);University of California Davis Health(加州大学戴维斯健康中心);University of South Florida(南佛罗里达大学)
提出PTQ4ADM框架,通过覆盖驱动的提示增强和激活感知校准集生成算法量化音频扩散模型,在减少70%模型大小的同时保持与全精度模型相当的合成质量。
2024-09-20 cs.LG cs.SD eess.AS
On The Open Prompt Challenge In Conditional Audio Generation
Meta AI;Saarland University(萨尔大学)
针对TTA模型商业化中用户提示不明确的问题,研究将模型视为黑盒,用指令微调模型重写提示,结合边距排序学习的文本-音频对齐反馈提升音频质量,在主客观评估中均实现对齐度与音质的显著提升。
2023-11-01 cs.CL cs.SD eess.AS
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine(加利福尼亚大学欧文分校);Microsoft Research(微软研究院)
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD,通过联合对比损失和跨模态简易融合模块,在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Conditional End-to-End Audio Transforms
Stanford University(斯坦福大学)
我们提出了一种端到端的方法,用于将音频从一种风格转换为另一种风格。对于语音的情况,通过以说话者身份为条件,我们可以训练单个模型来将多个人说出的单词转换为多个目标语音。对于音乐的情况,我们可以指定乐器并获得相同的结果。在架构上,我们的方法是一个完全可微的序列到序列模型的基础上卷积和分层递归神经网络。它旨在捕获长期的声学依赖性,需要最少的后处理,并产生逼真的音频变换。消融研究证实,我们的模型可以分离扬声器和仪器的属性从声学内容在不同的感受野。从经验上讲,我们的方法在社区标准数据集上实现了具有竞争力的性能。
2018-06-07 cs.CL cs.LG cs.SD
FlowMAC: Conditional Flow Matching for Audio Coding at Low Bit Rates
Fraunhofer IIS(弗劳恩霍夫应用研究促进协会 IIS研究所);International Audio Laboratories Erlangen(埃尔兰根国际音频实验室);Friedrich-Alexander-Universität at Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学(FAU))
本文提出FlowMAC,一种基于条件流匹配的低比特率神经音频编解码器,通过联合学习编码器、量化器与解码器并集成连续归一化流,在3 kbps下实现与双倍比特率SOTA相当的质量,支持CPU实时编码。
2025-04-06 cs.LG cs.SD eess.AS
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes(法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);GIPSA-Lab(GIPSA实验室)
变分自动编码器(VAE)是深度生成潜变量模型,可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验,然后用于执行语音增强。这种生成方法的一个优点是,它在训练时不需要成对的干净和有噪声的语音信号。在本文中,我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE(CVAE)的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时,视听语音生成模型与基于非负矩阵分解的噪声模型相结合,语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明,提出的音视频CVAE模型有效地融合了音视频信息,与纯音频VAE模型相比,提高了语音增强性能,特别是在语音信号受噪声严重污染的情况下。我们还表明,所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
Speech Audio Generation from dynamic MRI via a Knowledge Enhanced Conditional Variational Autoencoder
Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院);Wake Forest University School of Medicine(威克森林大学医学学院);Department of Radiology, Harvard Medical School(哈佛医学院放射科)
本文提出KE-CVAE方法,通过动态MRI生成语音音频,解决MRI数据损坏和噪声问题,提升语音合成质量。
2025-12-01 cs.CV cs.SD
CAESynth: Real-Time Timbre Interpolation and Pitch Control with Conditional Autoencoders
Sungkyunkwan University(成均馆大学)
在本文中,我们提出了一种新的音频合成器,CAESynth,基于条件自编码器。CAESynth通过在参考声音共享的潜在特征空间中插入参考声音,同时独立控制音高,从而实时的【形】合成音色。我们表明,基于音色分类的准确性以及音高内容的对抗性正则化来训练条件自动编码器,可以使潜在空间中的音色分布对于音色插值和音高调节更加有效和稳定。所提出的方法不仅适用于音乐线索的创建,而且还适用于基于新颖的音色与环境声音的混合物的混合现实中的音频启示的探索。我们通过实验证明,CAESynth通过音色插值和独立而准确的音调控制音乐线索以及环境声音的音频启示,实现了实时的【形】平滑和高保真的音频合成。Python实现以及一些生成的示例在线共享。
2021-11-09 cs.LG cs.SD eess.AS
Masked Conditional Neural Networks for Audio Classification
Department of Electronic Engineering University of York(约克大学电子工程系);University of York(约克大学)
本文提出了用于时间信号识别的条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)。CLNN考虑到声音信号的时间性质,MCLNN通过二进制掩码在CLNN上扩展,以保留特征的空间局部性,并允许自动探索特征组合,类似于手工制作识别任务的最相关特征。MCLNN在GTZAN和ISMIR2004音乐数据集上实现了具有竞争力的识别精度,超过了几种最先进的基于神经网络的架构和手工制作的方法。
2019-03-23 cs.LG cs.SD eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University(西安交通大学)
本文提出AVSepChain,将音视频目标语音提取分为语音感知与生成两阶段,通过交换音视频模态主导地位并引入对比语义匹配损失,缓解模态不平衡,在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
FlowAVSE: Efficient Audio-Visual Speech Enhancement with Conditional Flow Matching
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出FlowAVSE,通过条件流匹配算法和优化U-net架构,在保持语音增强质量的同时实现22倍推理加速和模型减半。
2024-06-13 cs.SD eess.AS
Audio Generation with Multiple Conditional Diffusion Model
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Toshiba China R&D Center(东芝中国研发中心)
针对文本控制音频生成可控性不足的问题,提出多条件扩散模型,通过时间戳、音高和能量轮廓等额外条件实现细粒度控制,并构建新数据集验证效果。
2023-12-28 cs.CL cs.LG cs.SD
Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios
针对音频驱动手势生成中VAE方法不稳定、扩散模型效率低的问题,提出用条件GAN捕获音频信号并匹配多峰去噪分布,打破DDPM单峰小噪声假设,实现更少步数的高速高保真手势生成。
2024-11-01 cs.AI cs.CV cs.GR
Conditional Generative Data Augmentation for Clinical Audio Datasets
Technical University of Munich(慕尼黑工业大学);University of Zurich(苏黎世大学);University Hospital Balgrist(巴尔格里斯特大学医院);Balgrist University Hospital(巴尔格里斯特大学医院)
本文提出基于 cWGAN-GP 的临床音频数据增强方法,在 log-mel 频谱图上生成逼真类别条件样本,并在全髋关节置换术真实手术室音频数据集上验证,使 ResNet-18 分类器的 Macro F1 平均提升 1.70%,优于经典音频增强方法。
2022-06-24 cs.LG cs.SD eess.AS
BinauralGrad: A Two-Stage Conditional Diffusion Probabilistic Model for Binaural Audio Synthesis
University of Science and Technology of China(中国科学技术大学);Imperial College London(帝国理工学院);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门);University of Surrey(萨里大学);South China University of Technology(华南理工大学)
双耳音频在构建沉浸式增强现实和虚拟现实中起着重要作用。由于从真实世界录制双耳音频的成本很高,因此从单声道音频合成双耳音频引起了越来越多的关注。该合成过程不仅涉及单声道音频的基本物理扭曲,而且涉及房间混响和头/耳相关滤波,然而,这些在传统的数字信号处理中难以准确地模拟。在本文中,我们从不同的角度制定的合成过程,通过分解的双耳音频到一个共同的部分,共享的左,右通道,以及一个特定的部分,在每个通道不同。因此,我们提出了BinauralGrad,一个新的两阶段的框架,配备了扩散模型,分别合成它们。具体地,在第一阶段中,利用以单声道音频为条件的单声道扩散模型来生成双耳音频的公共信息,基于此,在第二阶段中通过双声道扩散模型来生成双耳音频。将这种两阶段合成的新视角与先进的生成模型(即,扩散模型),所提出的BinauralGrad能够生成准确和高保真的双耳音频样本。实验结果表明,在基准数据集上,BinauralGrad在对象和主题评估指标方面都大大优于现有基线(Wave L2:0.128 vs. 0.157,MOS:3.80 vs. 3.61)。生成的音频样本(https://speechresearch.github.io/binauralgrad)和代码(https://github.com/microsoft/NeuralSpeech/tree/master/BinauralGrad)可在线…
2022-11-29 cs.LG cs.SD eess.AS
Conditional Generation of Audio from Video via Foley Analogies
University of Michigan(密歇根大学);Yale University(耶鲁大学);Adobe Research(奥多比研究院)
本文提出条件拟音问题,通过从同一视频中采样条件音视频片段的预训练任务和基于用户示例的条件生成模型,实现根据指定示例为无声视频生成可变音效。
2023-04-17 cs.CV cs.MM cs.SD
EMO-TTA: Improving Test-Time Adaptation of Audio-Language Models for Speech Emotion Recognition
EMO-TTA通过统计适应方法提升音频-语言模型在语音情绪识别中的测试时适应性,无需训练即可改进模型在非领域场景下的性能。
2026-02-03 cs.AI cs.SD
DynFOA: Generating First-Order Ambisonics with Conditional Diffusion for Dynamic and Acoustically Complex 360-Degree Videos
本文提出DynFOA,通过整合动态场景重建与条件扩散模型,从360度视频生成首阶混响,解决复杂场景中声学效果建模问题,实验表明其在空间准确性、声学保真度等方面优于现有方法。
2026-04-10 cs.SD
NoreSpeech: Knowledge Distillation based Conditional Diffusion Model for Noise-robust Expressive TTS
Tencent AI Lab(腾讯人工智能实验室)
表达型文语转换(TTS)技术可以通过模仿参考音频中的韵律和音色来合成新的说话风格,但面临以下挑战:(1)参考音频中的韵律信息动态性强,难以提取,尤其是当参考音频中含有背景噪声时。(2)文语转换系统应该对看不见的说话风格有很好的泛化能力。本文提出了一种\textbf{no} ise-\textbf{r} obust \textbf{e} expressive TTS模型(NoreSpeech),它可以将带噪参考话语中的说话风格鲁棒地转换为合成语音。具体来说,我们的NoreSpeech包括几个组件:(1)一个新的DiffStyle模块,它利用强大的概率去噪扩散模型,通过知识蒸馏从教师模型中学习与噪声无关的说话风格特征;(2)一个VQ-VAE模块,它将风格特征映射到一个可控的量化潜在空间,以提高风格转移的泛化能力;以及(3)直接但有效的无参数文本样式对齐模块,其使得NoreSpeech能够将样式从长度不匹配的参考话语转移到文本输入。实验结果表明,在噪声环境下,NoreSpeech比以前的表达TTS模型更有效。音频样本和代码可从以下网址获得:\href{http://dongchaoyang.top/NoreSpeech\_demo/}{http://dongchaoyang.top/NoreSpeech\_demo/}
2022-11-04 cs.SD eess.AS
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley(加州大学伯克利分校);FAIR, Meta(Meta FAIR研究院);University of Michigan(密歇根大学)
提出基于自监督的视听声景风格化方法,利用latent diffusion模型和自然视频中的重复声音事件,将目标场景的声音特性迁移至输入语音,并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Towards Audio to Scene Image Synthesis using Generative Adversarial Network
National Taiwan University(台湾大学)
人类可以从声音中想象出一个场景。我们希望机器通过使用条件生成对抗网络(GANs)来做到这一点。该模型采用了谱范数、投影变换和辅助分类器等技术,与朴素条件GAN相比,在主观和客观评价方面都具有更好的图像质量。近四分之三的人同意我们的模型有能力生成与声音相关的图像。通过输入相同声音的不同音量,我们的模型输出基于音量的不同尺度的变化,表明我们的模型在一定程度上真正了解声音和图像之间的关系。
2018-08-13 cs.CL cs.CV cs.SD
DynFOA: Generating First-Order Ambisonics with Conditional Diffusion for Dynamic and Acoustically Complex 360-Degree Videos
School of Computer and Artificial Intelligence, Beijing Technology and Business University, Beijing, China(计算机与人工智能学院,北京技术与商业大学);School of Computer Science, The University of Sydney, Sydney, NSW, Australia(计算机科学学院,悉尼大学);School of Software, Shandong University, Jinan, China(软件学院,山东大学)
DynFOA通过动态声学感知和条件扩散生成高质量的360度视频一阶混响,提升沉浸式音频体验。
2026-07-24 cs.SD
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD(加州大学圣迭戈分校);Baidu Research(百度研究院);NVIDIA(英伟达)
在这项工作中,我们提出了DiffWave,一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的,通过马尔可夫链将白噪声信号转换为结构化波形,合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频,包括基于mel频谱图的神经声编码,类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配(MOS:4.44与4.43),同时合成速度更快。特别是,在具有挑战性的无条件生成任务中,它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
PointTalk: Audio-Driven Dynamic Lip Point Cloud for 3D Gaussian-based Talking Head Synthesis
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Xi’an Jiaotong University(西安交通大学);Peking University(北京大学);Sun Yat-sen University(中山大学);Tsinghua University(清华大学);Shenzhen University(深圳大学);Carleton University(卡尔顿大学)
针对现有辐射场类说话人头部合成方法音唇同步差、视觉质量不佳的问题,提出基于3D高斯的PointTalk方法,通过动态唇部点云等模块提升合成效果,实验验证其性能优于已有方法。
2024-12-11 cs.AI cs.GR cs.MM
On the Geometry of Music Bandwidth Extension in Latent Spaces of Audio Codecs
本文分析了多种先进方法与简单算术变换在神经编解码器潜在空间中用于音乐带宽扩展的性能,发现简单向量加法可媲美大型扩散模型,建议将其设为研究基准。
2026-08-05 cs.SD
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory(索尼计算机科学实验室);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎综合理工学院)
受计算机视觉领域的影响,生成对抗网络(GANs)通常用于音频域,使用固定大小的二维频谱图表示作为“图像数据”。然而,在(音乐)音频域中,通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN,一个对抗性的框架,通过利用矢量量化对比预测编码(VQCPC)合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入,提供所生成内容的逐步时间相关特征。输入噪声z(对抗架构中的特征)随时间保持固定,确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明,即使基线得分最好,VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例,我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
CAA-Net: Conditional Atrous CNNs with Attention for Explainable Device-robust Acoustic Scene Classification
University of Augsburg(奥格斯堡大学);University of Surrey(萨里大学);ByteDance AI Lab(字节跳动人工智能实验室);University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
声学场景分类(ASC)的目的是对音频信号记录的环境进行分类。最近,卷积神经网络(CNN)已成功地应用于ASC。然而,用多个设备记录的音频信号的数据分布是不同的。关于在用多个设备记录的声学场景数据集上训练鲁棒神经网络以及解释神经网络的内部层的操作的研究很少。在本文中,我们专注于在多设备声学场景数据上训练和解释设备鲁棒CNN。我们提出了有条件的atrous CNN,注意多设备ASC。我们提出的系统包含一个ASC分支和一个设备分类分支,两者都由CNN建模。我们可视化和分析atrous CNN的中间层。采用时频注意力机制来分析CNN中特征图的每个时频点的贡献。在声学场景和事件的检测和分类(DCASE)2018 ASC数据集上,使用三种设备记录,我们提出的模型的性能明显优于在单设备数据上训练的CNN。
2020-11-18 cs.SD eess.AS
Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics
University of Washington(华盛顿大学)
本文介绍了一种从自回归模型中抽样的替代方法。自回归模型通常根据模型定义的转换动态顺序采样。相反,我们提出了一个采样过程,将一个序列与白噪声,并遵循一个马尔可夫链定义的朗之万动力学的全球对数似然序列。这种方法将采样过程并行化,并推广到条件采样。使用自回归模型作为贝叶斯先验,我们可以使用条件似然或约束来引导生成模型的输出。我们将这些技术应用于视觉和音频领域的自回归模型,在音频声源分离、超分辨率和图像修复方面具有竞争力。
2021-12-16 cs.LG cs.SD eess.AS
VoiceLDM: Text-to-Speech with Environmental Context
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出 VoiceLDM 模型,通过描述与内容双文本提示控制音频生成,借助 CLAP、Whisper 和双重无分类器引导实现免标注训练,并在环境音频、TTS 及零样本 TTA 上表现优异。
2023-09-24 cs.AI cs.CL cs.LG
Few-Shot Open-Set Audio Classification via Transductive Prototype Refinement and Class Logit Enhancement
针对小样本开放集音频分类的原型易受未知类别污染问题,提出两阶段直推式方法,结合内类度加权与解耦评分,在三个音频数据集上取得最优结果。
2026-08-25 cs.LG cs.SD
PromptSep: Generative Audio Separation via Multimodal Prompting
Adobe Research(Adobe研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
PromptSep 将语言查询音频源分离扩展为通用声音分离框架,通过条件扩散模型与数据模拟同时支持音频提取和声音移除,并引入人声模仿作为更直观的提示模态,在多个基准上取得领先性能。
2025-11-06 cs.SD eess.AS
Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching
Zhejiang University(浙江大学)
本文提出基于整流流匹配的V2A模型Frieren,通过非自回归向量场估计、通道级跨模态融合及reflow与一步蒸馏,实现高质量、高同步且高效的视频到音频生成。
2025-01-04 cs.CV cs.MM cs.SD
Dynamic Cross Attention for Audio-Visual Person Verification
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
提出动态交叉注意力(DCA)模型,通过条件门控层根据音视频模态间的强弱互补关系动态选择特征,在Voxceleb1数据集上持续提升性能并超越现有最先进方法。
2024-04-22 cs.CV cs.LG cs.SD
Conditional Diffusion Probabilistic Model for Speech Enhancement
Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research(现实实验室研究院);Academia Sinica(中央研究院)
语音增强是许多面向用户的音频应用的关键组成部分,然而当前系统仍然遭受失真和不自然的输出。虽然生成模型在语音合成中显示出了强大的潜力,但在语音增强方面仍然落后。这项工作利用扩散概率模型的最新进展,并提出了一种新的语音增强算法,将观察到的噪声语音信号的特性到扩散和逆过程。更具体地说,我们提出了一个广义的公式的扩散概率模型命名为条件扩散概率模型,在其逆过程中,可以适应非高斯真实噪声的估计语音信号。在我们的实验中,我们证明了所提出的方法与代表性的生成模型相比具有很强的性能,并研究了我们的模型对其他具有训练过程中看不到的噪声特征的数据集的泛化能力。
2022-02-10 cs.LG cs.SD eess.AS
CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models
Dolby(杜比实验室)
该研究提出CLIPSonic模型,以无标注视频的视觉模态为桥梁,结合预训练CLIP模型与扩散先验模型实现文本到音频合成,有效缩小模态迁移差距,性能可媲美现有图像到音频合成的最优模型。
2023-07-23 cs.LG cs.MM cs.SD