Audio-Visual Speech Enhancement with Score-Based Generative Models
Universität Hamburg（汉堡大学）
提出一种以视觉信息为条件、融合自监督视听嵌入与扩散模型的语音增强系统，实验证明其可提升语音质量、减少伪影并显著降低低信噪比下的ASR词错误率。
2023-06-02 cs.LG eess.AS
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA；MIT（麻省理工学院）
本文提出Audio-SDS，将分数蒸馏采样推广到文本条件音频扩散模型，利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务，无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD（加州大学圣迭戈分校）；Baidu Research（百度研究院）；NVIDIA（英伟达）
在这项工作中，我们提出了DiffWave，一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的，通过马尔可夫链将白噪声信号转换为结构化波形，合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频，包括基于mel频谱图的神经声编码，类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配（MOS：4.44与4.43），同时合成速度更快。特别是，在具有挑战性的无条件生成任务中，它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sony AI（索尼人工智能公司）；Sony Group Corporation（索尼集团公司）
MMAudio 提出多模态联合训练框架，结合大规模文本-音频数据与帧级条件同步模块，以流匹配目标在视频到音频合成中实现高质量、语义对齐和音视频同步的新 state-of-the-art，同时保持低推理时间和较少参数量。
2025-04-07 cs.CV cs.LG cs.SD
ImmerseDiffusion: A Generative Spatial Audio Latent Diffusion Model
University of Rochester（罗切斯特大学）；Apple（苹果公司）
本文提出 ImmerseDiffusion，一种基于潜扩散模型的端到端空间音频生成系统，可根据文本提示或空间、时间与环境参数生成一阶 Ambisonics 音频，并通过实验验证其生成质量和空间一致性。
2025-02-07 cs.ET cs.LG cs.SD
SyncFusion: Multimodal Onset-synchronized Video-to-Audio Foley Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Sapienza University of Rome（罗马第一大学）
提出SyncFusion系统，通过提取视频动作起始点并结合音频或文本嵌入条件化扩散模型，生成与视频同步的音效音轨，在保留创作控制权的同时消除手动同步负担。
2023-10-23 cs.CV cs.LG cs.MM
LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical Parameters
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Joint Research Centre, European Commission（欧盟委员会联合研究中心）
循环，无缝可重复的音乐片段，是现代音乐制作的基石。当代艺术家经常根据音乐标准（如节奏、和声和音色纹理）混合和匹配各种采样或预先录制的循环来创作作品。考虑到这些标准，我们提出了LoopNet，一个前馈生成模型，用于创建以直观参数为条件的循环。我们利用音乐信息检索（MIR）模型，以及在我们的研究中的公共循环样本的大量收集，并使用Wave-U-Net架构映射控制参数到音频。我们还评估生成的音频的质量，并提出直观的控制作曲家映射的想法在他们的脑海中的音频循环。
2021-05-21 cs.LG cs.SD eess.AS
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
Graduate School of Cultural Technology, KAIST（韩国科学技术院文化技术研究生院）；Division of AI and Software, Ewha Womans University（梨花女子大学人工智能与软件学部）
本文提出基于文本的视频到音频生成任务，通过文本提示选择性提取视频中相关声音源，提升多对象视频音频处理精度。SELVA模型通过文本提示选择视频编码器中的视觉特征，结合补充标记和自监督学习提升音频质量与同步性。
2026-03-27 cs.CV cs.LG cs.MM
Why Your Tokenizer Fails in Information Fusion: A Timing-Aware Pre-Quantization Fusion for Video-Enhanced Audio Tokenization
School of Electrical Engineering and Telecommunications, University of New South Wales（新南威尔士大学电气工程与电信学院）；Dolby Laboratories（杜比实验室）
本文研究了视频增强音频分词中重建质量下降的根本原因，提出了一种面向时间的预量化融合方法，通过在分词器架构中合理定位融合位置，结合时间轴上的特征融合，实现了高保真重建和下游任务的优越性能。
2026-04-13 cs.SD eess.AS
PLACE: Positional Latent Adaptation via Conditioned Embeddings for Binaural Audio Generation
Dolby Laboratories（杜比实验室）
PLACE通过条件嵌入和低秩变换扩展AudioX，实现多模态双耳音频生成，在FAIR-Play和BEWO-1M上提升空间一致性。
2026-10-02 cs.MM cs.SD eess.AS
CIViC: Evidence Gates for Audio-Conditioned Visual Prediction on Proxy Tasks
National Research Council Canada（加拿大国家研究委员会）；The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）
该研究提出CIViC四协议门，在三类代理任务上验证其可通过输出激活、保留误差等控制，为音频条件视觉预测提供不同解释。
2026-10-16 cs.CV cs.LG cs.SD
Testing chatbots on the creation of encoders for audio conditioned image generation
Diego Portales University (UDP)（迭戈·波塔莱斯大学）
本研究探索五个聊天机器人能否设计音频编码器替代Stable Diffusion的文本编码器以实现声音生成图像，发现其设计虽有效但结果均不理想，揭示了现有模型的架构偏见与编程差距。
2025-09-09 cs.LG cs.SD eess.AS
FreeAudio: Training-Free Timing Planning for Controllable Long-Form Text-to-Audio Generation
Tsinghua University（清华大学）；Shengshu AI（盛舒AI）；University of Science and Technology of China（中国科学技术大学）
FreeAudio提出免训练时序控制框架，利用LLM规划时间窗口并结合注意力控制与潜在组合，首次实现时序可控的长文本转音频生成，质量媲美训练方法。
2025-09-18 cs.AI cs.MM cs.SD
Audio-Conditioned U-Net for Position Estimation in Full Sheet Images
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）
乐谱跟踪的目标是以相应的乐谱表示来跟踪音乐表演，通常是以音频的形式。已建立的方法主要依赖于计算机可读的分数，以XML或MusicXML的形式，并实现强大和可靠的跟踪结果。最近，多模态深度学习方法已被用于跟踪原始纸张图像中的音乐表演。这些系统的当前限制之一是，它们需要将原始片材图像分解成单个长的板条系统的非微不足道的预处理步骤。目前的工作是试图消除这种特殊的限制。我们提出了一个架构，能够直接在整个未处理的工作表图像估计匹配分数的位置。我们认为，这是一个完全集成的分数以下系统，不依赖于任何预处理步骤，如光学音乐识别的必要的第一步。
2019-10-16 cs.LG cs.SD eess.AS
Spatial-Aware Conditioned Fusion for Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学具身智能联合研究实验室）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语种认知计算联合国际研究实验室）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
本文提出空间感知条件融合(SACF)，通过离散化目标相对方向和距离，生成紧凑描述符以指导策略和状态建模，利用音频嵌入和空间描述符生成通道级缩放和偏置，调节视觉特征以生成目标导向的融合表示，提升导航效率和泛化能力。
2026-04-02 cs.AI cs.SD eess.AS
ControlAudio: Tackling Text-Guided, Timing-Indicated and Intelligible Audio Generation via Progressive Diffusion Modeling
Tsinghua University（清华大学）；Shengshu AI（盛舒AI）；University of Science and Technology of China（中国科学技术大学）；Monash University（墨尔本大学）
ControlAudio通过多任务学习和渐进扩散建模，实现文本、时间及音素特征的精细控制，提升音频生成的时序精度和语音清晰度，达到当前最优水平。
2026-04-20 cs.AI cs.CL cs.SD
TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于离散语音token的TokenSplit分离模型，采用Transformer架构，支持多任务训练与转录条件化，还可结合传统模型实现语音精细化，在分离及ASR等任务上表现优异。
2023-08-21 cs.LG cs.SD eess.AS
Music source separation conditioned on 3D point clouds
mdw.ac.at（维也纳音乐与表演艺术大学）
最近，通过应用深度学习技术，在音频声源分离方面取得了重大进展。目前结合音频和视觉信息的方法使用2D表示（如图像）来指导分离过程。然而，为了从真实音乐合奏的记录（重新）创建用于3D虚拟/增强现实应用的声学上正确的场景，需要关于3D环境中的每个声源的详细信息。这一需求，以及LiDAR或rgb深度相机等3D视觉采集系统的激增，刺激了可以使用3D视觉信息指导音频分离的模型的创建。本文提出了一种多模态深度学习模型，以音乐表演记录的3D点云为条件执行音乐声源分离。该模型使用3D稀疏卷积提取视觉特征，而使用密集卷积提取音频特征。融合模块组合所提取的特征以最终执行音频声源分离。它示出，所提出的模型可以区分乐器从一个单一的三维点云帧，并执行声源分离定性类似的参考情况下，手动分配的仪器标签提供。
2021-02-03 cs.CV cs.SD eess.AS
MENASpeechBank: A Reference Voice Bank with Persona-Conditioned Multi-Turn Conversations for AudioLLMs
Qatar Computing Research Institute（卡塔尔计算研究所）
MENASpeechBank通过合成数据管道生成多轮对话数据，支持音频大语言模型在多样化语音和方言场景中的训练与应用。
2026-09-21 cs.AI cs.CL cs.SD
Dyadic Interaction Assessment from Free-living Audio for Depression Severity Assessment
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
抑郁症中的精神发育迟滞与二元临床访谈中的言语时间变化有关。在这项工作中，我们研究了自由生活的二元交互的语音计时特征。除了持续监测以补充临床访视的可能性外，在自由生活条件下进行的研究还可以推断社交特征，例如与抑郁症有关的二元互动频率。我们采用了说话人计数估计作为二元交互检测器，在DIHARD数据集中的特异性为89.5%，灵敏度为86.1%。使用该检测器，我们获得了语音定时功能，从检测到的二元互动在多天的音频记录的32名参与者，包括13名健康人，11名抑郁症患者，和8名精神病患者。在没有或轻度抑郁的参与者中，二元交互频率随着抑郁的严重程度而增加，这表明抑郁发作的潜在诊断标志。然而，随着抑郁严重程度的增加，中度或重度抑郁症的参与者的二元互动频率下降。在言语时间特征方面，响应时间与抑郁严重程度呈显著正相关。我们的工作显示了从自由生活的录音中进行二元互动分析以获得抑郁症严重程度的标记的潜力。
2022-09-08 cs.AI cs.SD eess.AS
From Vision to Audio and Beyond: A Unified Model for Audio-Visual Representation and Generation
University of Washington（华盛顿大学）
本文提出统一框架 VAB，通过在潜在空间中进行视觉条件掩码音频 token 预测，同时实现音视频表示学习和视频到音频生成，并在检索与分类任务上取得有竞争力的结果。
2024-09-27 cs.CV cs.LG cs.MM
AudioGen: Textually Guided Audio Generation
Meta AI；The Hebrew University of Jerusalem（希伯来大学）
我们解决的问题，生成音频样本的条件下描述性的文本标题。在这项工作中，我们提出了AaudioGen，一个自回归生成模型，生成音频样本的文本输入的条件。AudioGen对学习的离散音频表示进行操作。文本到音频生成的任务提出了多个挑战。由于音频通过介质传播的方式，区分"对象“可能是一项困难的任务（例如，多人同时说话）。这由于真实世界的记录条件（例如，背景噪声、混响等）。稀少的文本注释施加了另一个约束，限制了缩放模型的能力。最后，对高保真音频进行建模需要以高采样率对音频进行编码，从而导致极长的序列。为了缓解上述挑战，我们提出了一种增强技术，可以混合不同的音频样本，驱动模型在内部学习分离多个源。我们策划了10个包含不同类型音频和文本注释的数据集，以处理文本音频数据点的稀缺性。为了更快的推理，我们探索使用多流建模，允许使用更短的序列，同时保持类似的比特率和感知质量。我们应用无分类器引导来提高对文本的遵守。与评估的基线相比，AudioGen在客观和主观指标上都优于其他指标。最后，我们探讨了所提出的方法产生音频连续条件和无条件的能力。样品：https://felixkreuk.github.io/audiogen
2023-03-05 cs.CL cs.LG cs.SD
How Well Do Generative Music Models Follow Emotion Conditioning?
本研究构建统一评估流程，以GTZAN数据集为基础，评估Stable Audio Open等三个生成式音乐模型的情绪跟随表现，发现文本条件生成更优，效价保留更可靠，强调直接评估情感可控性的重要性。
2026-09-01 cs.SD eess.AS
Sound2Sight: Generating Visual Dynamics from Sound and Context
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
跨模态的学习关联对于鲁棒的多模态推理至关重要，特别是在推理过程中可能缺少模态时。在本文中，我们研究这个问题的背景下，音频条件的视觉合成-一个任务，这是很重要的，例如，在遮挡推理。具体来说，我们的目标是生成未来的视频帧和它们的运动动态条件的音频和一些过去的帧。为了解决这个问题，我们提出了Sound 2Sight，这是一个深度变分框架，它被训练来学习基于音频和过去帧的联合嵌入的每帧随机先验。这种嵌入是通过一个多头注意力为基础的视听Transformer编码器学习。然后对所学习的先验进行采样，以进一步调节视频预测模块以生成未来帧。随机先验允许模型对与所提供的音频和过去上下文一致的多个可能的未来进行采样。此外，为了提高所生成的帧的质量和一致性，我们提出了一个多模式的视频，区分合成和一个真正的视听剪辑。我们在两个新的数据集上实证评估了我们的方法，即（i）带有惊喜障碍的多模态随机移动MNIST，（ii）Youtube绘画;以及现有的Audio-Set Drums数据集。我们广泛的实验表明，Sound 2Sight在生成的视频质量方面明显优于最先进的技术，同时还能生成多样化的视频内容。
2020-07-23 cs.CV cs.LG cs.SD
SoundBeam: Target sound extraction conditioned on sound-class labels and enrollment clues for increased performance and continuous learning
NTT Corporation（日本电报电话公司）
在许多情况下，我们希望听到所需的声音事件（SE），同时能够忽略干扰。目标声音提取（TSE）通过估计声音混合中的目标SE类的声音的音频信号同时抑制所有其它声音来解决这个问题。我们可以通过一个神经网络来实现这一点，该神经网络通过对代表目标SE类的线索进行调节来提取目标SE。已经提出了两种类型的线索，即，目标SE类别标签和登记音频样本（或音频查询），其是来自目标SE类别的声音的预先记录的音频样本。基于SE类标签的系统可以直接优化表示SE类的嵌入向量，从而获得高提取性能。然而，扩展这些系统以提取在训练期间未遇到的新SE类并不容易。基于登记的方法通过在混合物中找到与登记音频样本共享相似特性的声音来提取SE。这些方法不显式依赖于SE类定义，因此可以处理新的SE类。在本文中，我们介绍了一个TSE框架，SoundBeam，它结合了这两种方法的优点。我们还使用合成和真实混合物对不同的TSE方案进行了广泛的评估，这表明了SoundBeam的潜力。
2022-11-02 cs.SD eess.AS
Event-Based Token Sequences for Audio-Conditioned Music-Game Level Modeling
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
研究音乐游戏关卡程序生成问题，受基于事件的符号音乐建模启发，提出令牌级序列公式，构建Transformer模型，在事件级评估中优于基线，能系统分析音频对节奏对齐事件预测的支持。
2026-07-13 cs.MM cs.SD
AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
The Hong Kong University of Science and Technology（香港科学与技术大学）；University of Central Florida（佛罗里达中央大学）
本文提出AC-Foley模型，通过直接利用参考音频实现精确的音频合成与声学迁移，解决传统方法在语义粒度和文本模糊性上的瓶颈，提升音频生成质量与细粒度控制能力。
2026-03-20 cs.CV cs.LG cs.MM
CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents
Department of Electrical Engineering（电气工程系）；Indian Institute of Technology, Kanpur（印度理工学院，坎浦尔）
CodecSep通过在神经音频编解码器潜在空间中直接提取声源，实现开放词汇声音分离，相比AudioSep在SI-SDR指标上表现更优，且在ViSQOL和MOS-LQS上取得显著提升，同时提供低延迟的代码流部署方案。
2026-06-21 cs.LG cs.SD eess.AS
Where Does the Sound Go? Tracing Acoustic Information Loss in Audio-Conditioned LLMs
Seoul National University（首尔大学）；KAIST（韩国科学技术院）；NAVER Cloud（NAVER云）
本文通过对比不同前端编码器并追踪信息流，发现音频条件大语言模型对声学信息利用不足主要源于读出对齐瓶颈，而非编码器信息丢失。
2026-09-09 cs.AI cs.SD
Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出基于扩散的LLaDA模型用于ASR，通过改进解码策略降低WER，展示其在语音识别中的有效性。
2026-02-27 cs.AI cs.SD eess.AS
SCISSOR: Score-Conditioned Instrument Source Separation for Orchestral Recordings
SCISSOR利用乐谱生成逐帧查询，通过共享音频表示和softmax分配时频证据，实现管弦乐录音的乐器源分离，在真实录音上取得最高SDR，且对乐谱损坏鲁棒。
2026-09-29 cs.AI cs.SD eess.AS
CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation
ERNIE Team, Baidu（百度ERNIE团队）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
CORD通过加权在线跨模态蒸馏方法，有效弥合音频与文本推理之间的差距，提升音频条件推理能力。
2026-01-23 cs.AI cs.SD eess.AS
Text-Driven Separation of Arbitrary Sounds
Google Research（谷歌研究院）
我们提出了一种方法，从一个单一的通道混合分离所需的声源，基于文本描述或目标源的短音频样本。这是通过结合两种不同的模式来实现的。第一个模型SoundWords被训练为将音频片段及其文本描述联合嵌入到共享表示中的相同嵌入中。第二个模型SoundFilter将混合源音频片段作为输入，并基于条件向量将其与SoundWords定义的共享文本音频表示分离，使模型与条件模态无关。在多个数据集上进行评估，我们表明，我们的方法可以实现9.1 dB的SI-SDR的两个任意的声音的混合物时，以文本为条件，10.1 dB时，以音频为条件。我们还表明，SoundWords在学习共嵌入方面是有效的，我们的多模态训练方法提高了SoundFilter的性能。
2022-04-12 cs.SD eess.AS
Recomposer: Event-roll-guided generative audio editing
针对复杂真实声音场景中声源重叠难编辑的问题，提出Recomposer系统，结合文本编辑描述与event roll时序图形，基于SoundStream表示的编码器-解码器Transformer实现声音事件的删除、插入与增强，验证了编辑描述各部分的重要性，证明音频重组的实用价值。
2025-09-05 cs.AI cs.LG cs.SD
An Empirical Study of Speech Language Models for Prompt-Conditioned Speech Synthesis
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本研究实证分析了自回归与非自回归语音语言模型在提示条件语音合成中的表现，发现异质非平稳提示会损害音频质量，且说话者风格受内容影响，语义单元携带声学信息可能泄露。
2024-03-19 cs.CL cs.SD eess.AS
End-to-End Sound Source Separation Conditioned On Instrument Labels
Pompeu Fabra University（庞培法布拉大学）；University of Waterloo（滑铁卢大学）；Joint Research Centre (EC)（（欧盟委员会）联合研究中心）
我们是否可以使用深度学习模型对不同数量的源执行端到端音乐声源分离？我们提出了一个扩展的Wave-U-Net模型，它允许端到端的单声道声源分离与非固定数量的来源。此外，我们提出了乘法条件与仪器标签的Wave-U-Net的瓶颈，并显示其对分离结果的影响。这种方法导致其他类型的条件反射，如视听声源分离和分数通知声源分离。
2019-05-09 cs.LG cs.SD eess.AS
AudioGenX: Explainability on Text-to-Audio Generative Models
针对文本到音频生成模型缺乏透明度的问题，提出可解释AI方法AudioGenX，通过事实与反事实目标优化解释器，在音频标记级提供忠实解释，增强模型可信度。
2025-02-04 cs.AI cs.LG cs.SD
Whisper-Flash: Acoustically Conditioned Parallel Drafting for Faster Whisper Decoding
Whisper-Flash 利用语音识别中“未写词已说出”的特性，通过两层草稿模型并行生成八个词元，在 LibriSpeech 上实现 3.16 倍加速且输出不变，消融显示直接访问音频是关键。
2026-09-29 cs.SD eess.AS
Evaluating Latent Space Structure in Timbre VAEs: A Comparative Study of Unsupervised, Descriptor-Conditioned, and Perceptual Feature-Conditioned Models
Department of Computer Science \& Technology, University of Cambridge\ , United Kingdom
本文比较了三种音乐音色生成VAE的潜在空间结构，发现基于感知特征的条件模型更紧凑且具有鉴别力，优于无监督和离散描述符条件模型。
2026-03-17 cs.SD
DiffSynth-Music: Audio-Conditioned KV-Cache Adapters for Controllable Music Generation
Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
针对文本歌词对音乐节奏、旋律控制不足的问题，提出DiffSynth-Music框架，通过音频条件KV缓存注入支持五种控制类型，提升可控性与歌词保真度。
2026-09-14 cs.SD
Full-band General Audio Synthesis with Score-based Diffusion
Dolby Laboratories（杜比实验室）
最近的工作表明，深度生成模型能够从单个标签处理一般音频合成，产生各种脉冲，音调和环境声音。这样的模型对带限信号进行操作，并且作为自回归方法的结果，它们通常由预训练的潜在编码器和/或若干级联模块来符合。在这项工作中，我们提出了一个基于扩散的生成模型的一般音频合成，命名为DAG，它处理全频带信号端到端的波形域。结果表明，DAG优于现有的标签条件发电机的质量和多样性。更具体地，当与现有技术相比时，DAG的带限和全带版本分别实现了高达40%和65%的相对改进。我们相信，DAG是足够灵活，以适应不同的条件图式，同时提供高质量的合成。
2022-10-26 cs.LG cs.SD eess.AS
CTAG-FX: Reinterpreting Synthesizer Parameter Spaces for Expressive Tone-Shaping Audio FX Design
Yonsei University（延世大学）
提出CTAG-FX，将文本条件合成器的78个参数重新诠释为音色塑造效果器控制，经信号分析和打乱消融验证，证明合成器参数空间可作为音频效果器控制空间的设计资源。
2026-10-07 cs.SD eess.AS
Audio Texture Manipulation by Exemplar-Based Analogy
University of California, Berkeley（加州大学伯克利分校）
本文提出一种基于范例类比的声音纹理操控模型，利用成对语音示例学习变换，无需文本指令，通过四元组数据集和潜在扩散模型实现，优于文本条件基线并泛化至非语音场景。
2025-01-21 cs.LG cs.SD eess.AS
Sample-Conditioned Representation Selection for Audio Few-Shot Learning
National Key Laboratory of Space Integrated Information System, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所空间综合信息处理技术国家重点实验室）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Computer Science, Nanjing University（南京大学计算机学院）；School of Psychology, Shanghai Jiao Tong University（上海交通大学心理学院）
针对少样本音频分类中前景-背景共现偏移问题，提出SAMPLESELECT方法，通过为每个输入预测固定预算特征掩码，在冻结编码器下提升OOD准确率，较全表示控制提高4.90-8.38个百分点。
2026-09-16 cs.AI cs.SD
Efficient Audio Captioning Transformer with Patchout and Text Guidance
Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；National Technical University of Athens（雅典国立技术大学）
提出一种利用Patchout和文本引导的高效音频字幕Transformer架构，通过迁移学习、扩充数据集和Mixup增强缓解数据稀缺，在降低计算复杂度的同时提升性能并获DCASE 2022评委奖。
2023-04-06 cs.LG cs.SD eess.AS
Sci-Phi: A Large Language Model Spatial Audio Descriptor
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
本文提出Sci-Phi，一种双编码器空间音频大语言模型，从合成Ambisonics录音中学习，一次描述多个声源和房间特征，实现完整空间场景描述。
2025-10-07 cs.CL cs.SD eess.AS
Doppelganger: Sound Effects and Their Synthetic Twins
ETH Zürich（苏黎世联邦理工学院）
介绍Doppelganger基准，用于跨合成-真实边界匹配音效。通过配对真实与合成音频，测试不同训练方式对音频编码器跨边界匹配的影响，发现特定训练可提升匹配准确率，且该匹配具有生成器特异性。
2026-07-07 cs.SD eess.AS
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology（快手科技）
SingDance是统一视频扩散框架，将语音表达设为语义角色，通过硬紧凑路由等技术实现组合式零样本歌舞视频生成，参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
AlignAudio: A Unified Dual-Alignment Framework for Noise-Robust Speech-Conditioned Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）；KlingAI Research（KlingAI研究院）；Peking University（北京大学）
提出AlignAudio双对齐框架，解决语音条件生成模型在噪声下性能下降问题，在STA和VC任务上，干净语音上性能与基线相当，噪声下显著优于基线，适配多种流匹配框架
2026-10-14 cs.AI cs.SD
TACOS: Temporally-aligned Audio CaptiOnS for Language-Audio Pretraining
Institute of Computational Perception (CP-JKU)（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰开普勒大学）
本文构建约12,000条带时间段标注的 TACOS 数据集，并提出逐帧对比训练策略，使类 CLAP 模型获得优于全局字幕训练模型的时间文本-音频对齐能力。
2025-05-12 cs.LG cs.SD eess.AS
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University（西北大学）；Descript, Inc.（Descript公司）
我们展示了一种无监督的方法，该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离，而无需任何重新训练。音频生成模型以输入混合为条件，产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器，创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的（不变的）潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重，并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型，并将其与四种预训练的音乐标记器（两种架构和两种标记数据集）相结合。在两个声源分离数据集上的实验结果表明，该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务（如声源分离）中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos
ETH Zurich（苏黎世联邦理工学院）
SALSA-V是一种多模态视频转音频生成模型，通过掩码扩散目标和捷径损失实现长音频同步高保真生成，仅需8步采样即可快速生成，性能优于现有SOTA，可用于专业音频合成任务。
2026-08-17 cs.LG cs.SD
Self-Supervised Generation of Spatial Audio for 360 Video
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
我们介绍了一种方法来转换单声道音频记录的360视频摄像机到空间音频，在整个观看范围内的声音分布的表示。空间音频是沉浸式360视频观看的重要组成部分，但空间音频麦克风在当前360视频制作中仍然很少见。我们的系统由端到端可训练的神经网络组成，该网络将单个声源分离并将其定位在观看范围内，以音频和360视频帧的多模态分析为条件。我们介绍了几个数据集，其中一个是我们自己拍摄的，另一个是从YouTube上收集的，由360个上传有空间音频的视频组成。在训练过程中，地面实况空间音频作为自我监督，混合的单声道形成了我们网络的输入。使用我们的方法，我们表明，它是可以推断的声源的空间位置仅基于360视频和单声道音轨。
2018-09-07 cs.CV cs.LG cs.MM
Generating Moving 3D Soundscapes with Latent Diffusion Models
本文提出SonicMotion，首个端到端潜在扩散框架，通过描述模型和参数模型两种变体生成具有移动声源显式控制的一阶Ambisonics音频，并构建了超百万对模拟FOA字幕数据集，在语义对齐和感知质量上达到领先水平且空间定位误差低。
2025-09-19 cs.AI cs.SD eess.AS
