AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching
AI Thrust, Information Hub, The Hong Kong University of Science and Technology (Guangzhou)(人工智能 thrust,信息中心,香港科学与技术大学(广州))
提出AG-REPA方法,通过前向门控消融量化各层对速度场的因果贡献,实现稀疏层选择和自适应加权对齐,在音频流匹配中优于传统REPA基线。
2026-07-24 cs.AI cs.LG cs.MM
Does Location Matter? A Black-Box Causal Audit Reveals Model-Dependent Audio Grounding in LALM Hallucination
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);New Uzbekistan University(新乌兹别克斯坦大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本研究针对LALM的音频幻觉问题,提出黑盒因果测试方法,发现其音频 grounding 依赖模型,且改进的对比解码可提升Qwen2-Audio准确率至71.9%。
2026-10-12 cs.AI cs.LG cs.SD
I Guess That's Why They Call it the Blues: Causal Analysis for Audio Classifiers
King’s College London(伦敦国王学院)
本文提出利用因果推理发现音频分类器中对分类至关重要的频率特征,并通过实验展示其对模型输出的操控能力。
2026-01-23 cs.LG cs.SD eess.AS
Streamable Neural Audio Synthesis With Non-Causal Convolutions
IRCAM(声学音乐研究与协调研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
深度学习模型大多以离线推理的方式使用。然而,这严重限制了这些模型在音频生成设置中的使用,因为大多数创意工作流程都基于实时数字信号处理。虽然基于递归网络的方法可以自然地适应这种基于缓冲区的计算,但卷积的使用仍然带来了一些严重的挑战。为了解决这个问题,已经提出了因果流卷积的使用。然而,这需要特定的复杂化训练,并可能影响最终的音频质量。在本文中,我们介绍了一种新的方法,允许产生非因果流模型。这允许使任何卷积模型与基于实时缓冲器的处理兼容。由于我们的方法是基于模型的训练后重新配置,我们证明了它能够将没有因果约束的训练模型转换为流模型。我们展示了我们的方法可以适应复杂的架构与并行分支。为了评估我们的方法,我们将其应用于最近的RAVE模型,该模型提供了高质量的实时音频合成。我们在多个音乐和语音数据集上测试了我们的方法,并表明它比附加方法更快,同时对生成质量没有影响。最后,我们介绍了两个开源的实现我们的工作作为Max/MSP和PureData外部,并作为一个VST音频插件。这允许在笔记本电脑CPU上赋予传统的数字音频工作站实时神经音频合成。
2022-04-14 cs.LG cs.SD eess.AS
Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models
Tsinghua University(清华大学);ByteDance(字节跳动)
提出FAVOR框架,通过因果Q-Former实现帧级音视频联合表示,提升多模态LLM的视频理解,在视频问答任务上准确率提升超20%。
2023-10-10 cs.AI cs.CV cs.SD
A Fast and Lightweight Model for Causal Audio-Visual Speech Separation
School of Computer Technology and Application(计算机技术与应用学院);Intelligent Computing and Application Laboratory of Qinghai Province(青海省智能计算与应用实验室);Department of Computer Science and Technology(计算机科学与技术系);Institute for AI(人工智能研究院);Tsinghua Laboratory of Brain and Intelligence (THBI)(清华大学脑与智能实验室);IDG/McGovern Institute for Brain Research(IDG/麦克戈维脑研究学院);Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究院)
针对现有音视频语音分离模型架构复杂且依赖未来上下文、不适于实时应用的问题,本文提出流式因果模型Swift-Net,采用轻量视觉模块、高效融合模块和分组SRU,并在三个基准数据集上验证了其卓越性能。
2025-10-14 cs.SD eess.AS
LMCodec: A Low Bitrate Speech Codec With Causal Transformer Models
Google(谷歌)
我们介绍LMCodec,一种因果神经语音编解码器,以非常低的比特率提供高质量的音频。该系统的骨干是一个因果卷积编解码器,它使用残差矢量量化将音频编码成一个由粗到细的令牌层次。LMCodec训练一个Transformer语言模型,以生成的方式从粗糙的令牌中预测精细的令牌,从而允许传输更少的代码。第二个Transformer预测给定过去发送的代码的下一个代码的不确定性,并用于执行条件熵编码。进行了MUSHRA主观测试,结果表明,在更高的比特率下,质量与参考编解码器相当。示例音频可在https://mjenrungrot.github.io/chrome-media-audio-papers/publications/lmcodec上获得。
2023-03-23 cs.SD eess.AS
BinauralFlow: A Causal and Streamable Approach for High-Quality Binaural Speech Synthesis with Flow Matching Models
Codec Avatars Lab, Meta(Meta 编解码虚拟化身实验室)
针对双耳渲染质量和流式推理的挑战,提出基于流匹配的流式双耳语音合成框架BinauralFlow,通过条件流匹配模型、因果U-Net架构及连续推理流水线实现高质量且难以与真实录音区分的音频合成。
2025-05-28 cs.AI cs.SD eess.AS
Represented but Ignored: A Causal Account of Prosodic Underuse in Audio-Language Models
University of Connecticut(康涅狄格大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对音频语言模型(audio-LLM)韵律使用不足的问题,通过阶段特定探测阶梯与隐藏状态干预实验,发现模型能表征韵律却未在输出中表达,瓶颈在于韵律的使用而非感知。
2026-08-21 cs.AI cs.CL cs.SD
Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners
Imperial College London(帝国理工学院);University of Surrey(萨里大学)
该研究提出自监督框架NAPE,通过因果Transformer预测下一个音频补丁嵌入,在六个音频语音基准上实现先进性能,可扩展编码器规模,获强线性探测结果,无显式监督时生成结构化注意力模式。
2026-08-21 cs.AI cs.SD eess.AS
Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming
Vorch Team(Vorch团队);Tongji University(同济大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shanghai Jiao Tong University(上海交通大学)
Vorch-Streamer是一款后训练框架,通过混合训练、自强制与DMD蒸馏等技术,实现了超24 FPS的实时长格式T2AV流式音视频生成,兼具音唇同步性与身份保留能力。
2026-10-26 cs.CV cs.SD
Language Model Based Text-to-Audio Generation: Anti-Causally Aligned Collaborative Residual Transformers
The Hong Kong Polytechnic University(香港理工大学);Alibaba Group(阿里巴巴集团)
针对现有语言模型结合残差向量量化的文本转音频方法效果不及扩散模型的问题,提出采用多独立Transformer、因果条件与强化学习反因果对齐的Siren框架,取得最优效果,为统一多模态生成提供路径。
2025-10-06 cs.LG cs.MM cs.SD
Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models
Alibaba Group(阿里巴巴集团)
提出Wan-Streamer,一种原生流式、端到端的交互基础模型,通过单一Transformer联合建模语言、音频和视频,实现低延迟全双工音视频交互,无需外部模块。
2026-06-26 cs.AI cs.CV cs.GR
RT-LA-VocE: Real-Time Low-SNR Audio-Visual Speech Enhancement
Meta AI;Imperial College London(伦敦帝国学院)
针对实时低信噪比音视频语音增强需求,提出RT-LA-VocE模型,重新设计LA-VocE各组件实现因果实时推理,在AVSpeech数据集上取得实时场景最优效果,且延迟极低。
2024-07-10 cs.CV cs.MM cs.SD
Causal Localization of the Refusal Direction in Audio Language Models
National Taiwan University(台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(台湾大学人工智能卓越研究中心(台大AI卓越研究中心))
通过因果干预定位大型音频语言模型中拒绝边际的依赖层,发现主要效应在文本LM中后期层,而非音频接口,并建议安全审计采用干预方法。
2026-09-22 cs.CL cs.LG cs.MM
VoxAudio: Vocalized Audio Synthesis via Multi-Reward Autoregressive Flow Matching
Zhejiang University(浙江大学)
VoxAudio是一种多奖励自回归流匹配模型,通过架构、偏好、数据层面的优化,解决现有T2A系统发声控制不足的问题,在多基准上验证了有效性与效率。
2026-08-18 cs.SD
MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词,支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
OmniForcing: Unleashing Real-time Joint Audio-Visual Generation
JD Explore Academy(京东探索学院);Fudan University(复旦大学);Peking University(北京大学);The University of Hong Kong(香港大学)
本文提出OmniForcing框架,通过因果蒸馏将双向扩散模型转化为高保真流式自回归生成器,解决双流架构中的训练不稳定问题,实现25FPS的实时生成性能。
2026-03-13 cs.CV cs.MM cs.SD
Intervention, Not Shared Latents: Blocking Visual Shortcuts in Audio-Video Generation
RIKEN iTHEMS(理化学研究所跨学科理论科学研究所);RIKEN AIP(理化学研究所先进智能研究中心);Columbia University(哥伦比亚大学);South China University of Technology(华南理工大学)
本文通过因果研究证明,音视频生成模型因视觉捷径(从外观而非事件预测声音)而失效,并提出反事实不变性作为识别因果预测器的必要条件,实验验证了干预干扰因素的必要性。
2026-09-24 cs.GR cs.LG cs.SD
Music Hallucination in Audio-Language Models: A Hierarchical Formulation and Empirical Study
Institute of Information Engineering, CAS(中国科学院信息工程研究所);School of Cyber Security, UCAS(中国科学院大学网络空间安全学院);Central Conservatory of Music(中央音乐学院);University of Electronic Science and Technology of China(电子科技大学)
本研究首次对音频语言模型的音乐幻觉进行分层多范式实证分析,提出MuseDiag诊断框架,并验证两种免训练缓解方法在不同范式下的效果差异。
2026-09-18 cs.AI cs.SD
FocalCodec-Stream: Streaming Low-Bitrate Speech Coding via Causal Distillation
Concordia University(康科德大学);Mila-Quebec AI Institute(魁北克AI研究所);Université Laval(拉瓦尔大学)
本文提出基于焦点调制的流式低比特率语音编解码器 FocalCodec-Stream,通过 WavLM 多阶段因果蒸馏和轻量级细化器,在 0.55-0.80 kbps 码率与 80 ms 延迟下兼顾重建质量、下游任务性能和效率。
2025-09-19 cs.AI cs.LG cs.SD
Listening with Attention: Entropy-Guided Explainability for Transformer-Based Audio Models
Florida International University(佛罗里达国际大学);University of South Florida(南佛罗里达大学)
提出LEAF-X框架,通过熵引导注意力加权、多层注意力展开和因果消融,为Transformer语音识别模型生成稀疏的帧级归因,提升忠实度32%、局部性/稀疏性35-39%。
2026-06-15 cs.AI cs.SD
AudioRWKV: Efficient and Stable Bidirectional RWKV for Audio Pattern Recognition
提出AudioRWKV架构,通过2D深度可分离卷积和双向WKV核,在保持线性复杂度的同时实现全局上下文建模,解决了Transformer的高复杂度和Mamba的不稳定性问题。
2026-06-06 cs.SD
Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
Voice-Light提出级联全双工语音智能体,结合因果轮换与投机式生成,实现低延迟交互,并通过混合控制器在真实场景中平衡误切断与轮次召回率。
2026-09-21 cs.CL cs.SD eess.AS
A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models
University of Maryland, College Park(马里兰大学帕克分校)
本文通过行为与因果机制分析,揭示大型音频语言模型在时间推理中因模态不平衡而失败,并提出注意力重分配方法提升准确率。
2026-06-17 cs.LG cs.SD
BinauralVAE: Spatial Audio Reconstruction For World Models
VISGRAF;IMPA(巴西纯数学与应用数学国家研究所)
BinauralVAE提出一个开源流水线,利用多种变分自编码器架构重建空间音频,为基于音频的世界模型奠定状态表示基础,以补充视觉感知。
2026-09-09 cs.LG cs.SD
AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation
Hong Kong University of Science and Technology (HKUST)(香港科技大学);Tongyi Fun Team, Alibaba Group(阿里云团队,阿里巴巴集团)
提出AudioCALM框架,通过连续音频潜变量的自回归预测和不对称模态专家架构,统一语音、声音和音乐生成,在三个任务上达到或超越专用模型性能。
2026-06-23 cs.SD eess.AS
Real-Time Music Source Separation on a Low-Power Audio DSP
Analog Devices, Inc.(亚德诺半导体公司)
本文针对低功耗音频DSP,验证现有实时音乐源分离系统均不适用,提出在连续卷积上下文训练并加入门控复数FIR深度滤波器的新系统,在MUSDB18-HQ上达到4.70 dB cSDR,运行时间仅10.43 ms。
2026-09-14 cs.SD
Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace
Amazon AGI Foundations(亚马逊AGI基金会);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究通过logit lens分析Qwen3-Omni模型,发现其中间层可在输出前清晰呈现音频问题答案,揭示了音频模型推理的特性与信号分布,为解读音频大语言模型内部思维提供了定性依据。
2026-08-27 cs.AI cs.CL cs.SD
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统,采用分块自注意力与触发注意力实现流式识别,并引入对齐正则化技术促进音视频编码器同步,在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
Silent Metronome: Rhythmic Grounding for Live Music Accompaniment
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science (LIACS)(莱顿高级计算机科学研究所)
针对现场伴奏中节奏漂移问题,提出静默节拍器(SiMe),通过周期性编码节拍相位作为独立条件通道提供时间参考,使节拍对齐提升3.2倍,并超越非因果基线。
2026-09-09 cs.SD
HelixWorld: A Real-time Interactive Audio-Visual World Model
The Hong Kong University of Science and Technology(香港科技大学);Noiz AI
HelixWorld提出首个实时交互视听世界模型,通过双向教师蒸馏实现24 FPS无漂移的视听联合推演,并引入HelixBench评估空间声学一致性,在保持视觉性能的同时显著提升声学沉浸感。
2026-10-06 cs.CV cs.MM cs.SD
Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
Apple(苹果公司)
研究提出基于解耦时间深度扩散变换器的内存高效音频合成架构,通过特定设计将语义音频令牌转换为RVQ表示,用单个深度解码器和因果滑动窗口注意力降低内存复杂度,在AMX上实现高效合成,提升音频质量。
2026-11-03 cs.CL cs.SD
TasNet: time-domain audio separation network for real-time, single-channel speech separation
Columbia University(哥伦比亚大学)
多人环境中的鲁棒语音处理需要有效的语音分离。最近的深度学习系统在解决这个问题方面取得了重大进展,但它仍然具有挑战性,特别是在实时的【形】、短延迟应用中。大多数方法试图在混合信号的时频表示中为每个源构建掩码,这不一定是语音分离的最佳表示。此外,时频分解导致固有的问题,如相位/幅度解耦和长时间窗口,这是需要达到足够的频率分辨率。我们提出了时域音频分离网络(TasNet)来克服这些限制。我们使用编码器-解码器框架直接在时域中对信号建模,并对非负编码器输出执行声源分离。该方法去除了频率分解步骤,并将分离问题简化为估计编码器输出上的源掩码,然后由解码器合成。我们的系统优于目前最先进的因果和非因果语音分离算法,降低了语音分离的计算成本,并显着降低了所需的最低延迟的输出。这使得TasNet适用于需要低功耗、实时的【形】实施的应用,例如听觉和电信设备。
2018-04-18 cs.LG cs.MM cs.NE
Neural Harmonium: An Interpretable Deep Structure for Nonlinear Dynamic System Identification with Application to Audio Processing
Amazon Web Services, Inc.(亚马逊云科技有限公司)
本文提出一种因果可解释的深度结构(神经和声机),在时频域建模动态系统,采用阶递归二阶优化与神经网络识别频率依赖,在声学回声消除中验证了其有效性。
2023-10-10 cs.LG cs.SD cs.SY
Trajectory Dynamics in Self-Supervised Learning Latent Space for Audio Deepfake Detection
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
该研究利用自监督学习隐空间的轨迹动力学检测音频深度伪造,通过LSTM预测器与MLP结合的系统在多基准测试中达到最优性能,验证了生理约束可作为检测信号。
2026-08-17 cs.LG cs.SD eess.AS