Rethinking the visual cues in audio-visual speaker extraction
Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对AVSE中说话人身份与同步性两类视觉线索作用不明的问题，提出解耦学习策略，并构建可解释的DAVSE模型，证实同步性线索贡献更高。
2023-06-05 cs.SD eess.AS
Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
USTC（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
针对视听分割中视觉特征主导音频导致模态不平衡的问题，提出AVSAC方法，通过双向视听解码器和逐帧同步策略增强音频线索，实现更均衡的表示学习并达到新基准。
2024-02-06 cs.CV cs.SD eess.AS
Style Transfer of Audio Effects with Differentiable Signal Processing
Queen Mary University of London（伦敦玛丽女王大学）；Adobe Research（Adobe研究院）
我们提出了一个框架，可以施加的音频效果和生产风格从一个录音到另一个的例子，以简化音频生产过程的目标。我们训练深度神经网络来分析输入录音和风格参考录音，并预测用于渲染输出的音频效果的控制参数。与过去的工作相比，我们在我们的框架中集成了音频效果作为可微算子，通过音频效果执行反向传播，并使用音频域损失优化端到端。我们使用一个自我监督的训练策略，使音频效果的自动控制，而不使用任何标记或配对的训练数据。我们调查了一系列现有的和新的可微信号处理方法，展示了如何将每种方法集成到我们的框架中，同时讨论它们的权衡。我们在语音和音乐任务上评估了我们的方法，证明我们的方法可以推广到看不见的录音，甚至可以推广到与训练过程中看到的不同的采样率。我们的方法可以产生令人信服的制作风格转换结果，能够将输入录音转换为制作录音，产生音频效果控制参数，从而实现可解释性和用户交互。
2022-07-18 cs.SD eess.AS
Beyond the Mouth: Upper-Face Affective Cues in Audiovisual Sentence Recognition under Acoustic Uncertainty
Faculty of Education and Psychology, University of Oulu, Finland（奥卢大学教育与心理学学院，芬兰）；Center for Machine Vision and Signal Analysis, University of Oulu, Finland（奥卢大学机器视觉与信号分析中心，芬兰）
本研究利用CREMA-D语料库，通过特征分类器探究在声学退化条件下，上半脸情感信息是否有助于视听句子识别，发现上半脸情感线索能提升模型校准和鲁棒性。
2026-05-30 cs.AI cs.SD
Joint Object-Material Category Segmentation from Audio-Visual Cues
University of Oxford（牛津大学）；Microsoft Research（微软研究院）；Technicolor（特艺公司）
仅从视觉线索识别物体并推断场景的材料属性并不总是可能的，因为物体可能在视觉上看起来相似，但由非常不同的材料制成。因此，在本文中，我们提出了一种方法，增加了可用的密集的视觉线索与稀疏的听觉线索，以估计密集的对象和材料的标签。由于估计对象类和材料属性是相互信息，我们优化我们的多输出标签联合使用随机场框架。我们在一个新的数据集上评估我们的系统，该数据集包含我们公开提供的成对视觉和听觉数据。我们证明，这种联合估计的对象和材料标签显着优于任何类别的估计孤立。
2016-01-10 cs.CV cs.SD
Differentiable Wavetable Synthesis
ByteDance（字节跳动）
可微分波形表合成（DWTS）是一种用于神经音频合成的技术，其通过端到端训练来学习单周期波形（即波形表）的字典。我们实现了高保真音频合成，只需10到20个波表，并演示了数据驱动的波形字典如何在短音频片段上开辟前所未有的一次性学习范例。值得注意的是，我们展示了音频操作，例如高质量的音高转换，仅使用几秒钟的输入音频。最后，我们研究了使用学习的波形表进行实时和交互式音频合成的性能增益。
2022-02-13 cs.LG cs.SD eess.AS
"Did You Hear That?" Learning to Play Video Games from Audio Cues
Queen Mary University of London（伦敦玛丽女王大学）
游戏AI研究长期以来一直专注于从视觉输入或符号信息中学习玩视频游戏。然而，人类受益于更广泛的传感器，我们利用这些传感器来导航我们周围的世界。特别是，声音和音乐是我们中有多少人感知世界并影响我们做出决定的关键。在本文中，我们提出了初步的实验，玩游戏的代理学习玩视频游戏，完全从音频线索。我们扩展了视频游戏描述语言以允许音频规范，并扩展了通用视频游戏AI框架以提供新的音频游戏和用于学习代理的API以利用音频观察。我们分析了游戏和音频游戏的设计过程，包括简单的Q~学习代理的初步结果，并鼓励在这方面的进一步研究。
2019-06-11 cs.AI cs.LG cs.SD
Blind estimation of audio effects using an auto-encoder approach and differentiable digital signal processing
本文提出一种基于自编码器和可微数字信号处理的盲音频效果估计方法，无需知道效果器的具体实现，通过优化音频质量指标，相比传统参数方法能更准确地估计音频质量。
2024-02-09 cs.SD eess.AS
Diff2Mix: Controllable Music Mixing via Diffusion Models and Differentiable Audio Effects
Queen Mary University of London（伦敦玛丽女王大学）
本文提出Diff2Mix系统，结合扩散模型与可微分音频效果，实现兼具高质量与可控风格的自动音乐混音，通过多维度评估验证其性能。
2026-08-07 cs.SD eess.AS
Cinematic Audio Source Separation Using Visual Cues
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of Artificial Intelligence, UNIST（蔚山科学技术院人工智能研究生院）
本文提出首个结合视觉信息的电影音频源分离框架AV-CASS，通过条件流匹配实现多模态音频分离，并设计专用视觉编码器提升分离质量。
2026-03-27 cs.MM cs.SD eess.AS
Auptimize: Optimal Placement of Spatial Audio Cues for Extended Reality
Carnegie Mellon University（卡内基梅隆大学）；University of Rochester（罗切斯特大学）
针对扩展现实中人类听觉感知局限导致的空间音频声源定位误差问题，提出利用腹语效应的Auptimize方法，通过解耦视声位置优化声源布局，降低识别错误率，适用于多种交互式XR场景。
2024-08-18 cs.HC cs.SD eess.AS
Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues
Institute of Computing Technology, CAS（中国科学院计算技术研究所）
本研究提出双注意力协同框架DualAVSE，通过基于空间注意力的视觉编码器提取唇部外面部线索并忽略无关信息，结合动态视听特征融合策略，有效提升了视听语音增强在多种复杂场景下的性能。
2023-11-24 cs.CV cs.SD eess.AS
Biomimetic Frontend for Differentiable Audio Processing
University of Maryland（马里兰大学）；UMIACS（马里兰大学高级计算机研究所）；Institute of Systems Research（系统研究所）
针对音频语音端到端模型训练成本高、鲁棒性差的问题，研究将经典人类听觉模型可微化，结合仿生信号处理与深度学习，构建出少样本易训练的可解释模型，在音频任务上效率与鲁棒性优于黑箱方法。
2024-09-13 cs.LG cs.NE cs.SD
AV-EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Omni-modal LLMS with Audio-visual Cues
UC Berkeley（加州大学伯克利分校）；South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；National Taiwan University（台湾大学）；University of Southern California（美国南加州大学）
提出AV-EMO-Reasoning基准，通过合成和真实世界的视听对话数据集及情感感知与交互推理指标，系统评估全模态大语言模型的情感推理能力。
2026-05-28 cs.MM cs.SD
Robust Audio-Visual Segmentation via Audio-Guided Visual Convergent Alignment
The University of Queensland（昆士兰大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Matrix Verse AI（矩阵 Verse 人工智能公司）；CSIRO Data61（联邦科学与工业研究组织 Data61 部门）；Macau University of Science and Technology（澳门科技大学）
针对视听对应歧义和发声状态变化导致的分割错误，提出含AMA与UE模块的框架，通过分组音频引导对齐、对比学习及时空不确定性建模提升分割鲁棒性。
2025-03-17 cs.CV cs.SD
Target Active Speaker Detection with Audio-visual Cues
National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对主动说话人检测中现有方法依赖唇部视频质量的问题，提出融合预注册说话人嵌入与视听同步线索的TS-TalkNet框架，在两个基准数据集上多项指标优于TalkNet。
2023-06-12 cs.SD eess.AS
Differentiable Signal Processing With Black-Box Audio Effects
Adobe Research（奥多比研究院）
我们提出了一种数据驱动的方法，通过将有状态的第三方音频效果作为深度神经网络中的层来自动化音频信号处理。然后，我们训练深度编码器来分析输入音频并控制效果参数以执行所需的信号操作，仅需要输入-目标配对音频数据作为监督。为了训练具有不可微黑盒效应层的网络，我们在标准自动微分图中使用快速并行随机梯度近似方案，从而产生高效的端到端反向传播。我们展示了我们的方法的力量与三个独立的自动音频制作应用程序：管放大器仿真，自动删除呼吸和流行音乐录音，自动音乐母带。我们通过主观听力测试验证了我们的结果，表明我们的方法不仅可以实现新的自动音频效果任务，而且可以产生与专业的，最先进的商业音乐母带解决方案相当的结果。
2021-05-11 cs.LG cs.SD eess.AS
Differentiable Modelling of Percussive Audio with Transient and Spectral Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Ableton AG（Ableton公司）；Imperial College London（帝国理工学院）
针对DDSP缺乏暂态建模的问题，提出结合正弦建模与调制时序卷积网络的打击乐合成框架，有效提升了膜鸣打击乐器的起音信号重构效果。
2023-09-13 cs.SD eess.AS
Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种基于学习的方法来检测真实和虚假的deepfake多媒体内容。为了最大限度地提高学习信息，我们从同一视频中提取和分析两种音频和视觉模式之间的相似性。此外，我们提取和比较情感线索对应于感知的情感从两个模态内的视频，以推断输入视频是“真”还是“假”。我们提出了一个深度学习网络，灵感来自暹罗网络架构和三重丢失。为了验证我们的模型，我们报告了两个大规模deepfake检测数据集（DeepFake-TIMIT数据集和DFDC）的AUC度量。我们将我们的方法与几种SOTA deepfake检测方法进行了比较，并报告了DFDC和DF-TIMIT数据集上的每视频AUC分别为84.4%和96.6%。据我们所知，我们的方法是第一种同时利用音频和视频模式以及这两种模式的感知情感进行深度伪造检测的方法。
2020-08-01 cs.CV cs.LG cs.SD
Differentiable Black-box and Gray-box Modeling of Nonlinear Audio Effects
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
本文在 ToneTwist AFx 数据集上系统比较多种非线性音频效果的可微黑盒与灰盒模型，提出时变灰盒及压缩器、失真、法兹模型，并结合客观与主观评估确定适用架构。
2025-02-20 cs.SD eess.AS
Lightweight and interpretable neural modeling of an audio distortion effect using hyperconditioned differentiable biquads
iZotope, Inc.（iZotope公司）
在这项工作中，我们建议使用可微级联biquads模型的音频失真效果。我们将可训练的无限脉冲响应（IIR）滤波器扩展到超条件的情况下，在这种情况下，学习变换以直接将失真效应的外部参数映射到其内部滤波器和增益参数，以及确保滤波器稳定性所需的激活。我们提出了一种新的，有效的IIR滤波器的训练计划，通过傅里叶变换。相对于使用有限脉冲响应滤波器的更传统的黑盒神经音频效果建模方法，我们的模型具有更少的参数和更低的复杂性。我们最小、性能最好的模型充分模拟了44.1 kHz的BOSS MT-2踏板，总共使用了40个双四边形，只有210个参数。它的模型参数是可解释的，可以与原始模拟音频电路相关联，甚至可以在模型训练后由机器学习非专家直观地改变。定量和定性的结果说明了所提出的方法的有效性。
2021-03-15 cs.SD eess.AS eess.SP
Self-Supervised Learning of Audio Representations from Permutations with Differentiable Ranking
Google Brain Paris（谷歌大脑巴黎分部）
使用所谓的“借口”任务的自我监督预训练最近在各种各样的模式中表现出令人印象深刻的性能。在这项工作中，我们从排列中推进自监督学习，通过预训练模型来重新排序音频信号的频谱图的混洗部分，以提高下游分类性能。我们做出了两个主要贡献。首先，我们克服了将置换反转集成到端到端训练方案中的主要挑战，使用可微排名的最新进展。在此之前，通过将重新排序任务转换为分类，从根本上减少了可以利用的排列空间，从而回避了这一点。我们的实验验证了从所有可能的排列中学习比使用有限的固定集合提高了预训练表示的质量。其次，我们表明，颠倒排列是以无监督方式学习音频表示的一项有意义的借口任务。特别是，我们通过在时间-频率空间中重新排序谱图补丁来改进乐器分类和音符的音高估计。
2021-03-17 cs.AI cs.SD eess.AS
Style Transfer for Non-differentiable Audio Effects
University of Glasgow（格拉斯哥大学）
本文提出一种基于音频嵌入的深度学习风格匹配方法，可在主流框架中处理仅含连续参数且不可微分的音频效果器，并通过听辨测试验证其多段压缩器风格迁移效果。
2023-09-29 cs.LG cs.SD eess.AS
RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues
Nanjing University（南京大学）
本文提出RAVSS框架，通过单一过程实现多说话人并发分离并引入说话人间交互，在VoxCeleb2和LRS3数据集上取得最先进性能，且对视觉线索缺失表现出更强鲁棒性。
2024-07-30 cs.MM cs.SD eess.AS
A Differentiable Perceptual Audio Metric Learned from Just Noticeable Differences
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多音频处理任务需要感知评估。获得人类判断的“黄金标准”是耗时的，昂贵的，并且不能用作优化标准。另一方面，自动化指标计算效率高，但通常与人类判断相关性差，特别是对于人类检测阈值处的音频差异。在这项工作中，我们通过将深度神经网络拟合到一个新的大型众包人类判断数据集来构建一个度量。受试者被要求回答一个简单、客观的问题：两个录音是否相同？这些对是在各种扰动下通过算法生成的，包括噪声、混响和压缩伪影;探测扰动空间的目的是有效地识别受试者的刚可察觉差异（JND）水平。我们表明，由此产生的学习度量是很好的校准与人类的判断，优于基线方法。由于它是一个深度网络，因此该度量是可微的，使其适合作为其他任务的损失函数。因此，简单地替换现有的损失（例如，深度特征损失）与我们的度量在去噪网络中产生显著的改进，如通过主观成对比较所测量的。
2020-05-18 cs.SD eess.AS
Differentiable WORLD Synthesizer-based Neural Vocoder With Application To End-To-End Audio Style Transfer
iZotope, Inc.（iZotope公司）
本文提出一种无参数的可微WORLD合成器作为基线，通过附加后处理网络或直接提取激励频谱提升质量，实现端到端音频风格迁移，并利用声学特征解耦音高与音色以稳定训练。
2023-05-08 cs.LG cs.SD eess.AS
Room Impulse Response Synthesis via Differentiable Feedback Delay Networks for Efficient Spatial Audio Rendering
Perceptual Interfaces \& Reality Lab Department of Computer Science \& UMIACS University of Maryland, College Park
本研究提出一种可微可调的FDN架构，通过可微编程优化参数匹配RIR声学指标，实现实时动态空间音频渲染，质量接近传统BRIR卷积且计算成本大幅降低。
2025-09-30 cs.SD eess.AS
SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation
SpA2V通过利用空间听觉线索生成与输入音频在语义和空间上一致的视频，改进了现有方法对语义信息的依赖，提出两阶段框架实现视频场景布局生成与生成。
2025-08-01 cs.AI cs.CV cs.GR
DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
Queen Mary University of London（伦敦玛丽女王大学）
FM合成是一种众所周知的算法，用于从一组紧凑的设计基元生成复杂的音色。它通常具有一个音频接口，从音频源控制它通常是不切实际的。另一方面，可微分数字信号处理（DDSP）通过深度神经网络（DNN）实现了细致入微的音频渲染，该深度神经网络学习从任意声音输入控制可微分合成层。训练过程涉及用于监督的音频语料库和频谱重建损失函数。这样的函数，虽然是伟大的匹配频谱幅度，缺乏音调方向，这可能会阻碍FM合成器的参数的联合优化。在本文中，我们采取措施，使一个完善的FM合成架构从音频输入的连续控制。首先，我们讨论了一组设计约束，通过标准的重建损失，简化频谱优化的可微分FM合成器。接下来，我们介绍了可区分DX7（DDX7），这是一种轻量级架构，用于在一组紧凑的参数中对乐器声音进行神经FM再合成。我们训练模型的仪器样本提取的URMP数据集，并定量地证明其可比的音频质量对选定的基准。
2022-08-12 cs.LG cs.SD eess.AS
Investigating Causal Cues: Strengthening Spoofed Audio Detection with Human-Discernible Linguistic Features
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文利用带社会语言学标注的混合欺骗音频数据集，通过因果发现与推断识别人类可辨别的EDLFs与欺骗标签的关系，为增强AI检测器和自动化标注提供依据。
2024-09-09 cs.CL cs.SD eess.AS
Automatic multitrack mixing with a differentiable mixing console of neural audio effects
Dolby Laboratories（杜比实验室）
深度学习在自动多轨混音中的应用在很大程度上尚未探索。这部分是由于可用数据有限，再加上这些数据相对来说是非结构化的和可变的。为了解决这些挑战，我们提出了一个域启发的模型，具有很强的归纳偏见的混合任务。我们通过应用预训练的子网络和权重共享以及和/差立体声损失函数来实现这一点。所提出的模型可以用有限数量的例子进行训练，相对于输入顺序是置换不变的，并且对输入源的数量没有限制。此外，它还生成人类可读的混合参数，允许用户手动调整或优化生成的混合。涉及音频工程师的感知评估结果表明，我们的方法产生的混合优于基线方法。据我们所知，这项工作展示了第一种方法，在学习多轨混合公约，从现实世界的数据在波形水平，没有知识的基础混合参数。
2020-10-20 cs.SD eess.AS
Differentiable All-pole Filters for Time-varying Audio Systems
Chin-Yun Yu Equal contribution. ,\, Christopher Mitcheltree ,\, Alistair Carson ,\, Stefan Bilbao ,\, Joshua D. Reiss ,\
本文提出一种可微时变全极点滤波器实现，使递归滤波器梯度能通过自身反向传播，从而突破自动微分框架限制，实现含极点滤波器的音频系统端到端训练，并在移相器、合成器和压缩器上验证了其训练效率与建模能力。
2024-10-19 cs.LG cs.SD eess.AS
Automatic DJ Transitions with Differentiable Audio Effects and Generative Adversarial Networks
Sony Group Corporation（索尼集团公司）
DJ的一个中心任务是创建一个在相邻曲目之间具有无缝过渡的音乐混音集。在本文中，我们探索了一种数据驱动的方法，该方法使用生成对抗网络通过从真实世界的DJ混音中学习来创建歌曲过渡。具体地，模型的生成器使用两个可微分的数字信号处理组件，均衡器（EQ）和衰减器，以混合由数据生成流水线选择的两个轨道。生成器必须设置EQ和推子的参数，以使生成的混音类似于由人类DJ创建的真实混音，由人类DJ判断。听力测试的结果表明，该模型可以达到竞争力的结果相比，一些基线。
2022-02-17 cs.LG cs.SD eess.AS
Acoustically-Driven Phoneme Removal That Preserves Vocal Affect Cues
Stanford University（斯坦福大学）；Stanford School of Medicine（斯坦福大学医学院）
在本文中，我们提出了一种方法，用于从语音中删除语言信息的目的是隔离的影响的语言指标。该方法的直接效用在于不受语言干扰的对声音影响的敏感性的临床测试，语言在各种临床人群中受损。该方法是基于语音音频和电声门图（EGG）信号的同时记录。语音音频信号用于估计平均声道滤波器响应和幅度包络。EGG信号提供了与语音源活动的直接相关性，其主要独立于语音清晰度。语音音频的动态能量和平均声道滤波器被应用于EGG信号，从而创建第三信号，该第三信号被设计为从发声系统捕获尽可能多的非语言信息-最大化生物声学线索的保留以影响-同时消除对言语含义的语音线索。为了评估这种方法的成功，我们研究了感知相应的语音音频和转换EGG信号的影响评级实验与在线听众。结果表明，匹配信号的感知影响具有高度的相似性，表明我们的方法是有效的。
2023-03-14 cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
Synchformer: Efficient Synchronization from Sparse Cues
Tampere University（坦佩雷大学）；Shanghai Jiao Tong University（上海交通大学）；University of Oxford（牛津大学）
针对野外视频中同步线索稀疏的问题，研究提出新型音视频同步模型Synchformer及解耦式训练方法，在密集和稀疏场景下均达最优，还拓展了训练数据集并探索了模型新能力。
2024-01-29 cs.CV cs.LG cs.MM
Compiling Differentiable Audio Graphs to Real-Time DSP
Massachusetts Institute of Technology（麻省理工学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）
提出ADAC编译器，将可微音频模型转换为FAUST代码，实现实时音频效果插件，支持梯度更新后热替换模型，并保证稳定性。
2026-06-23 cs.PL cs.SD eess.AS
Evaluating Spatialized Auditory Cues for Rapid Attention Capture in XR
Center for Visual Computing, Stony Brook University（视觉计算中心，石溪大学）
本文研究了XR中快速空间音频定位，探讨了短时视觉-听觉反馈训练对空间音频定位的影响，发现短时空间线索能提供粗略方向信息，但需结合其他感官模态以提高精度。
2026-05-06 cs.HC cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University（哥伦比亚大学）
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出，因此丢弃了空间声源定位所需的空间线索。然而，保留空间信息在许多旨在准确呈现声学场景的应用中是重要的，例如在助听器和增强现实（AR）中。在这里，我们提出了一种语音分离算法，保留分离的声源的耳间线索，可以实现低延迟和高保真度，因此能够实时修改的声学场景。基于时域音频分离网络（TasNet），一个单通道时域语音分离系统，可以在实时实现，我们提出了一个多输入多输出（MIMO）端到端的TasNet扩展，以双耳混合音频作为输入，同时分离目标扬声器在两个通道。实验结果表明，所提出的端到端MIMO系统能够显著提高分离性能，并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
Diff-MST: Differentiable Mixing Style Transfer
Centre for Digital Music, Queen Mary University of London（伦敦玛丽女王大学数字音乐中心）；Steinberg Media Technologies GmbH（斯坦伯格媒体技术有限公司）
针对现有混音风格迁移系统轨数固定、缺乏可解释性等问题，提出含可微混音台、transformer控制器和定制损失的Diff-MST框架，支持任意轨数输入与事后调整，性能优于强基线。
2024-07-11 cs.SD eess.AS
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University（坦佩雷大学）
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务，而完全忽略了音轨。只有少数先前的作品利用了这两种模式，但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中，我们介绍了双模态Transformer，它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务，但该模块能够消化任何两种形式的序列到序列的任务。我们还表明，作为双模态Transformer的一部分，预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明，我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得：v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
Contextual Audio-Visual Switching For Speech Enhancement in Real-World Environments
University of Stirling（斯特灵大学）
人类语音处理本质上是多模态的，其中视觉线索（嘴唇运动）有助于更好地理解噪声中的语音。唇读驱动的语音增强在低信噪比（SNR）下显著优于基准的仅音频方法。然而，在高SNR或低水平的背景噪声，视觉线索变得相当不那么有效的语音增强。因此，需要一种更优化的、上下文感知的视听（AV）系统，该系统上下文地利用视觉和噪声音频特征两者，并且有效地考虑不同的噪声条件。在本文中，我们介绍了一种新的上下文AV切换组件，上下文利用AV线索相对于不同的操作条件来估计干净的音频，而不需要任何SNR估计。切换模块分别在低、高和中等SNR水平下在仅视觉（仅V）、仅音频（仅A）和两个AV提示之间切换。通过集成卷积神经网络和长短期记忆网络来开发上下文AV切换组件。为了测试，估计干净的音频功能，利用开发的新的增强的视觉导出的维纳滤波器的干净的音频功率谱估计。使用基准Grid和ChiME 3语料库在真实场景下对上下文AV语音增强方法进行了评估。对于客观测试，使用语音质量的感知评估来评估恢复语音的质量。对于主观测试，使用标准的平均意见得分方法。关键的分析和比较研究表明，所提出的上下文AV方法，在低和高信噪比的A-只有，V-只有，谱减法，和对数最小均方误差为基础的语音增强方法的优异性能，揭示了它的能力，以解决在任何现实世界的噪声条件下的频谱时间变化。
2018-08-28 cs.CV cs.SD eess.AS
Unsupervised Harmonic Parameter Estimation Using Differentiable DSP and Spectral Optimal Transport
Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文提出基于最优传输理论的谱损失函数，通过轻量级编码器和可微分谐波合成器联合估计基频与谐波幅度，解决无监督音高估计与合成器联合训练难题。
2024-01-15 cs.LG cs.SD eess.AS
Audio-Guided Dynamic Modality Fusion with Stereo-Aware Attention for Audio-Visual Navigation
Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术创新中心）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Electrical Engineering and Automation, Tianjin University of Technology（天津理工大学电气工程与自动化学院）
本文针对音视频导航中静态融合和立体声空间信息利用不足的问题，提出结合立体感知注意力模块SAM与音频引导动态融合模块AGDF的强化学习框架，在Replica和Matterport3D上显著提升导航成功率和路径效率。
2025-09-21 cs.AI cs.SD
Exploring Audio Cues for Enhanced Test-Time Video Model Adaptation
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University and Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing（人工智能研究院、深圳MSU-BIT大学及粤港澳大湾区情感智能与普适计算联合实验室）；School of Software Engineering, South China University of Technology（华南理工大学软件学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
针对现有视频测试时自适应方法忽略音频信息的问题，提出利用音频生成辅助伪标签并结合灵活自适应循环的方法，在多个数据集上验证了其对不同视频分类模型自适应性能的提升作用。
2025-06-14 cs.CV cs.LG cs.SD
Differentiable Dictionary Search: Integrating Linear Mixing with Deep Non-Linear Modelling for Audio Source Separation
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文介绍了几个改进的信号分解的新方法，我们最近制定的名称下的微分字典搜索（DDS）。DDS的基本思想是利用一类强大的深度可逆密度估计器（称为归一化流），以线性分解方法（如NMF）对字典进行建模，有效地在字典元素空间和相关概率空间之间创建双射，允许在估计密度的指导下通过字典空间进行可微搜索。由于最初的公式是一个概念证明，有一些实际的限制，我们将提出几个步骤，使其可扩展，希望提高计算复杂性的方法和信号分解能力。作为实验评估的测试平台，我们选择了框架级钢琴转录的任务，其中信号被分解为活动归因于单个钢琴音符的源。为了突出改进的非线性建模源的影响，我们比较我们的方法的变体的线性过完备NMF基线。实验结果将表明，即使在没有额外的约束，我们的模型产生越来越稀疏和精确的分解，根据两个相关的评估措施。
2022-11-28 cs.LG cs.SD eess.AS
DiffSound: Differentiable Modal Sound Rendering and Inverse Rendering for Diverse Inference Tasks
School of Computer Science, Peking University（北京大学计算机学院）；University of Maryland, College Park（马里兰大学学院公园分校）；Stanford University（斯坦福大学）
本文提出DiffSound，一个基于物理的可微模态声音渲染框架，结合隐式形状表示、高阶有限元分析和可微音频合成器，解决物理参数估计、几何形状推理和撞击位置预测等逆问题，能准确重现目标声音。
2024-09-20 cs.SD eess.AS
Towards Explicit Acoustic Evidence Perception in Audio LLMs for Speech Deepfake Detection
State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室）；Communication University of China（中国传媒大学）；Machine Intelligence（人工智能）；Key Laboratory of Media Audio & Video, Ministry of Education, Communication University of China（教育部媒体音频视频重点实验室）
本文提出SDD-APALLM框架，通过结合原始音频与结构化频谱图，增强音频LLM对细粒度声学特征的感知能力，提升语音深度伪造检测的准确性和鲁棒性。
2026-01-30 cs.AI cs.SD
RAST: Resolution-Aware Privileged Structure Transfer for Low-Resolution Audio Activity Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对低分辨率音频活动识别中训练与部署分辨率不匹配的问题，提出RAST框架，通过保留token级信息和邻域结构压缩高分辨率教师表示并进行局部对齐，在SAMoSA和AudioIMU数据集上提升约7.8%的识别性能。
2026-10-01 cs.AI cs.SD
MeMo: Attentional Momentum for Real-Time Audio-Visual Target Speaker Extraction Under Impaired Visual Conditions
Department of Electrical and Electronic Engineering, Faculty of Engineering, The Hong Kong Polytechnic University（电子工程系，工程学院，香港理工大学）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（系统工程与工程管理系，香港中文大学）；School of Artificial Intelligence (SAI), The Chinese University of Hong Kong, Shenzhen（人工智能学院（SAI），香港中文大学深圳校区）；School of Intelligence Science and Technology, Nanjing University（智能科学与技术学院，南京大学）；Tongyi Lab, Alibaba Group, Singapore（通义实验室，阿里巴巴集团，新加坡）
提出MeMo框架，通过两个自适应记忆库存储注意力信息，在视觉线索缺失时维持注意力动量，实现实时目标说话人提取，SI-SNR提升至少2dB。
2026-08-25 cs.MM cs.SD
Spatial Audio Rendering for Real-Time Speech Translation in Virtual Meetings
Berkeley AI Research Laboratory（伯克利人工智能研究实验室）；Microsoft Corporation（微软公司）
本研究针对虚拟会议实时翻译忽略感知线索的问题，通过实验探究空间音频渲染对多语言会议理解度、认知负荷等的影响，发现空间渲染可使理解度翻倍，为会议平台集成实时翻译提供设计启示。
2025-11-12 cs.HC cs.SD
DDSP-SFX: Acoustically-guided sound effects generation with differentiable digital signal processing
Dolby Laboratory（杜比实验室）
本文提出DDSP-SFX模型，基于可微分数字信号处理实现高质量音效合成，并通过瞬态建模与音色控制方法支持确定性的声学属性控制和音色迁移。
2023-09-14 cs.SD eess.AS
Semantic Audio-Visual Navigation in Continuous Environments
Wuhan University（武汉大学）；Zhongguancun Academy（中关村学院）；Shandong Jianzhu University（山东建筑大学）；Nankai University（南开大学）；Tsinghua University（清华大学）；CASIA（中国科学院自动化研究所）；UCAS（中国科学院大学）
本文提出MAGNet模型，通过多模态Transformer实现语义目标推理，提升在连续空间中导航的鲁棒性与成功率。
2026-03-20 cs.CV cs.SD
Uncovering the Visual Contribution in Audio-Visual Speech Recognition
Sigmedia Group, School of Engineering Trinity College Dublin（Sigmedia集团，工程学院，三一学院都柏林）
本文从人类语音感知视角评估AVSR系统，发现低WER不保证高SNR增益，揭示当前方法未充分利用视觉信息，建议未来研究同时报告有效SNR增益和WER。
2025-01-17 cs.SD eess.AS
