Listening Between the Frames: Bridging Temporal Gaps in Large Audio-Language Models
TimeAudio通过引入时间标记和绝对时间编码，提升大型音频-语言模型在时间定位和长音频理解上的能力，有效解决时间戳表示、架构和数据限制问题。
2025-12-12 cs.SD
STAR: Speech-to-Audio Generation via Representation Learning
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Peking University, Shenzhen（广东超高清沉浸媒体技术重点实验室，北京大学深圳校区）；X-LANCE Lab, Shanghai Jiao Tong University, Shanghai（X-LANCE实验室，上海交通大学）
STAR提出首个端到端语音到音频生成框架，通过表示学习从语音提取声音事件语义，结合桥接网络和两阶段训练，在降低76.9%延迟的同时优于级联系统。
2025-09-21 cs.SD eess.AS
SemiCodec: Bridging Speech Tokenization and High-fidelity Reconstruction with Semi-discrete Representations
Tencent（腾讯）
本研究提出新型半离散神经语音编解码器SemiCodec，采用“先保留后基础”训练范式，在重建质量、可懂度上优于全离散编解码器，声学保真度与说话人保留能力可与连续表示媲美。
2026-10-14 cs.SD eess.AS
DawDreamer: Bridging the Gap Between Digital Audio Workstations and Python Interfaces
以前只存在于GUI受限的数字音频工作站、livecoding环境或C++ API中的音频制作技术现在可以通过我们新的Python模块DawDreamer访问。因此，DawDreamer在真正的声音工程师和通过离线批处理模仿他们的编码员之间架起了一座桥梁。像这个领域的当代模块一样，DawDreamer可以创建音频处理器的有向非循环图，例如生成或操纵音频流的VST。DawDreamer还可以动态编译和执行来自Faust的代码，Faust是一种功能强大的信号处理语言，可以部署到许多平台和微控制器上。我们讨论了DawDreamer的独特功能，详细和潜在的应用程序在音乐信息检索，包括声源分离，转录，音频效果参数推断。我们提供了完全跨平台的PyPI安装程序、Linux Dockerfile和一个示例的PyPI notebook。
2021-11-18 cs.SD eess.AS
BridgeCodec: Mamba Enhanced Neural Audio Codec with Schrödinger Bridge at Low Bitrate
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Central Media Technology Institute, Huawei（华为中央媒体技术研究院）
本文提出BridgeCodec框架，通过薛定谔桥最优传输解耦神经音频编解码器的编码器-解码器对，结合Mamba增强型U-Net，在1 kbps超低码率下实现8 kHz到48 kHz编解码器的鲁棒映射，获优异重建与感知质量。
2026-10-14 cs.AI cs.LG cs.SD
SEA-Spoof: Bridging The Gap in Multilingual Audio Deepfake Detection for South-East Asian
South-East Asia（东南亚）
针对东南亚语言音频深度伪造检测数据稀缺问题，构建首个大规模数据集SEA-Spoof，覆盖六种语言300多小时，微调后显著恢复跨语言检测性能。
2025-09-25 cs.SD
Bridging Audio and Vision: Zero-Shot Audiovisual Segmentation by Connecting Pretrained Models
Department of Computer Science and Engineering（计算机科学与工程系）
针对视听分割依赖像素级标注的问题，提出融合多个预训练音频、视觉与文本模型的零样本框架，无需任务训练即取得最先进性能。
2025-06-06 cs.CV cs.SD eess.AS
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架，通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距，设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力，在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
Neural Speech and Audio Coding: Modern AI Technology Meets Traditional Codecs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google LLC（谷歌公司）
本文研究神经语音与音频编码中传统模型与数据驱动方法的融合，提出并分析信号增强器、LPCNet、TF-Codec、MDCTNet 等混合架构及心理声学损失训练方案。
2025-01-07 cs.AI cs.SD eess.AS
Language Model Based Text-to-Audio Generation: Anti-Causally Aligned Collaborative Residual Transformers
The Hong Kong Polytechnic University（香港理工大学）；Alibaba Group（阿里巴巴集团）
针对现有语言模型结合残差向量量化的文本转音频方法效果不及扩散模型的问题，提出采用多独立Transformer、因果条件与强化学习反因果对齐的Siren框架，取得最优效果，为统一多模态生成提供路径。
2025-10-06 cs.LG cs.MM cs.SD
Bridging Data, Reasoning, and Alignment: A Unified Framework for Context-Aware Instruction-Following TTS
Northwestern Polytechnical University（西北工业大学）；Shenzhen Pimei Technology Co., Ltd.（深圳市湃美科技有限公司）；Nanjing University（南京大学）
针对CoT-TTS挑战，提出包含数据清洗、CA-DPO对齐及LLM评估的统一优化框架，显著提升上下文感知指令跟随语音合成的推理与执行一致性。
2026-09-15 cs.SD eess.AS
Bridging Language Gaps in Audio-Text Retrieval
Xiaomi Corporation（小米公司）
针对音频-文本检索偏重英语的问题，提出结合 SONAR 多语言文本编码与 CED 音频编码器优化的语言增强方法，在英语基准上达到 SOTA，并以少量额外数据支持七种语言检索。
2024-06-17 cs.CL cs.SD eess.AS
Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap
Korea Advanced Institute of Science and Technology, South Korea（韩国科学技术院）；University of Seoul, South Korea（首尔大学）
提出基于扩散的模态桥接模块Diffusion-Link，将音频嵌入映射至文本分布以弥合模态鸿沟，在AAC任务中显著提升多模态LLM的零样本与监督性能并达到SOTA。
2025-10-13 cs.AI cs.CL cs.LG
Bridging Biological Hearing and Neuromorphic Computing: End-to-End Time-Domain Audio Signal Processing with Reservoir Computing
University of York（约克大学）
本文提出利用时间域技术和回声状态机简化音频信号处理，通过改进MFCC提取方法提升实时处理效率，推动节能音频处理技术发展。
2026-03-25 cs.AI cs.SD
Bridging the Modality Gap in Long-Form Clinical Audio: A Comparative Study of Lightweight and Heavyweight End-to-End SOAP Generation
Northwestern Polytechnical University（西北工业大学）
本研究提出一种完全端到端的多模态系统，直接从长时临床音频生成SOAP笔记，通过多阶段训练和规模扩展，在BeTraC 2026挑战中超越级联ASR+LLM基线，验证了直接多模态优化的有效性。
2026-09-15 cs.AI cs.SD eess.AS
Bridging the Perception Gap: A Lightweight Coarse-to-Fine Architecture for Edge Audio Systems
Duke University（杜克大学）
CoFi-Agent通过工具增强的条件边缘-云协作，在边缘音频系统中实现了更高效的感知与准确性提升。
2026-01-22 cs.LG cs.SD eess.AS
Multi-modality Associative Bridging through Memory: Speech Sound Recollected from Face Video
KAIST（韩国科学技术院）
在本文中，我们介绍了一种新的视听多模态桥接框架，可以利用音频和视频信息，即使是单模态输入。我们利用存储源（即，视觉的）和目标（即，音频）模态表示，其中源模态表示是我们所给定的，目标模态表示是我们想要从记忆网络中获得的。然后，我们在源和目标记忆之间构建了一个关联的桥梁，考虑了两个记忆之间的相互关系。通过关联桥学习相互关系，所提出的桥接框架能够在记忆网络内部获得目标模态表示，即使仅使用源模态输入，也能够为其下游任务提供丰富的信息。我们提出的框架，以两个任务：唇读和语音重建无声的视频。通过所提出的关联桥和模态特定的记忆，每个任务的知识是丰富的回忆音频上下文，实现最先进的性能。我们还验证了关联桥正确地将源和目标记忆联系起来。
2022-04-04 cs.AI cs.CV cs.SD
Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation
Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）
该研究对比音频、视觉与视听LLM及人类在可见声音识别中的表现，发现对应人耳与人眼差异的模态性能差距，并通过双向跨模态蒸馏显著提升挑战性类别识别能力。
2025-05-11 cs.CL cs.CV cs.MM
CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation
ERNIE Team, Baidu（百度ERNIE团队）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
CORD通过加权在线跨模态蒸馏方法，有效弥合音频与文本推理之间的差距，提升音频条件推理能力。
2026-01-23 cs.AI cs.SD eess.AS
HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis
Korea University（高丽大学）
本文提出 HierSpeech++，一种基于分层变分自编码器的快速且强大的零样本语音合成器，通过 text-to-vec 框架和高效超分辨率技术，在 TTS 和 VC 任务中显著提升了鲁棒性、自然度与说话人相似度，实现了首个达到人类水平质量的零样本语音合成。
2023-11-27 cs.AI cs.MM cs.SD
Bridging The Multi-Modality Gaps of Audio, Visual and Linguistic for Speech Enhancement
National Taiwan University（国立台湾大学）；Academia Sinica（中国学术.sinica）；National Institute of Information and Communications Technology（信息与通信技术国家研究所）
提出DLAV-SE扩散多模态框架，通过跨模态知识迁移整合音频、视觉与语言信息，提升音视频语音增强质量并减少生成伪影。
2025-05-26 cs.LG cs.MM cs.SD
Bridging the Gap Between Semantic and User Preference Spaces for Multi-modal Music Representation Learning
NetEase Inc.（网易公司）
提出分层两阶段对比学习（HTCL）方法，通过大规模对比预训练和在线交互数据微调，学习弥合语义与用户偏好空间差距的多模态音乐表示，在音乐语义和推荐任务上均取得显著成效。
2025-05-29 cs.IR cs.SD eess.AS
DiffGAP: A Lightweight Diffusion Module in Contrastive Space for Bridging Cross-Model Gap
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Shengshu AI（昇树科技）
本文提出 DiffGAP，在对比空间中加入轻量级双向扩散模块，通过模态条件去噪增强文本、视频与音频交互，并在 VGGSound、AudioCaps 上提升生成与检索性能。
2025-03-15 cs.AI cs.CV cs.LG
Induction Network: Audio-Visual Modality Gap-Bridging for Self-Supervised Sound Source Localization
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）
本文提出归纳网络，通过解耦音视频梯度并利用归纳向量以自举方式学习判别性视觉表示，结合视觉加权对比损失和自适应阈值选择策略，在SoundNet-Flickr和VGG-Sound Source数据集上实现了更优的自监督声源定位性能。
2023-08-09 cs.AI cs.CV cs.MM
Bridging High-Quality Audio and Video via Language for Sound Effects Retrieval from Visual Queries
New York University（纽约大学）；Adobe Research（奥多比研究院）
针对视频帧检索高质量音效缺乏高质量训练数据的问题，本文提出用LLM与视觉-语言模型自动构建HQ音视频对，并训练对比学习检索系统，显著提升跨域泛化与用户偏好。
2023-08-17 cs.CV cs.IR cs.MM
CartoonSing: Unifying Human and Nonhuman Timbres in Singing Generation
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Renmin University of China（中国人民大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
CartoonSing通过统一框架生成非人类声音，解决非人类声音数据稀缺和音色差异问题，拓展了歌唱生成的应用范围。
2025-11-26 cs.SD
Bridging Traditional Explainability Methods and Multimodal Multilingual Models: An XAI-Based Analysis
提出多模态Shapley值框架，结合频谱图引导的音素对齐（SGPA）预处理方法，实现文本与音频特征的可解释性归因，并开源计算包与可视化工具。
2026-04-21 cs.AI cs.CL cs.SD
Tiny-Align: Bridging Automatic Speech Recognition and Large Language Model on the Edge
Villanova University（维拉诺瓦大学）；University of Notre Dame（诺特尔大学）；University at Buffalo–SUNY（布法罗大学–SUNY）
本文提出资源高效的跨模态对齐框架 Tiny-Align，在边缘设备上桥接 ASR 与 LLM 处理个性化音频输入，实现50倍训练加速且对齐质量提升50%以上。
2025-07-11 cs.AI cs.SD eess.AS
WordVoice: Explicit and Decoupled Multi-Dimensional Word-Level Control for LLM-Based TTS
South China University of Technology（南方科技大学）；Huya Inc.（Huya公司）；Tongji University（同济大学）；The Hongkong polytechnic university（香港理工大学）；Foshan University（佛山大学）
研究针对基于LLM的TTS系统词级控制粗糙的问题，提出统一框架。构建含五维注释的数据集，引入WordVoice将隐式生成变为显式可控范式，经实验验证其在多声学维度上实现卓越解耦控制且保持零样本合成稳定性。
2026-07-08 cs.CL cs.SD eess.AS
Factorized RVQ-GAN For Disentangled Speech Tokenization
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Brno University of Technology（布拉格技术大学）；LIUM University, France（法国利乌姆大学）
提出因子化RVQ-GAN的HAC编解码器，通过多层级瓶颈和知识蒸馏实现语音解纠缠分词，优于单层级基线。
2025-06-18 cs.CL cs.SD eess.AS
Language-Codec: Bridging Discrete Codec Representations and Speech Language Models
Zhejiang University（浙江大学）
本文提出Language-Codec，通过引入掩码通道残差向量量化（MCRVQ）机制及改进的傅里叶变换结构、注意力模块和判别器设计，解决了离散编解码器与下游语音语言模型之间信息分布不均和码本负担过重的问题，并在音频压缩和下游任务中取得显著性能提升。
2025-06-04 cs.SD eess.AS
Benchmarking and Bridging Emotion Conflicts for Multimodal Emotion Reasoning
University of Science and Technology of China（科学技术大学）；Nanyang Technological University（南洋理工大学）
针对多模态大模型在情感冲突中过度依赖音频的问题，提出CA-MER基准与参数高效框架MoSEAR，通过模态专家与注意力重分配平衡多模态信息，在冲突与一致样本上均达到SOTA。
2025-10-11 cs.AI cs.CV cs.MM
Bridging Paintings and Music -- Exploring Emotion based Music Generation through Paintings
Queen Mary University of London（伦敦玛丽女王大学）
本研究针对绘画与音乐配对数据稀缺的问题，构建两阶段框架和Emotion Painting Music Dataset，实现从绘画情感生成匹配音乐，验证了生成效果，为视障辅助、教育及治疗等场景提供了多感官工具。
2024-09-12 cs.CV cs.MM cs.SD
Efficient Video to Audio Mapper with Visual Scene Detection
Duke Kunshan University（昆山杜克大学）
针对现有视频转音频生成方法难以处理多场景视频的问题，研究提出引入场景检测器的改进V2A模型，复现并微调轻量级基线模型后，在VGGSound数据集上的保真度和相关性均优于基线。
2024-09-15 cs.MM cs.SD eess.AS
UniBriVL: Robust Universal Representation and Generation of Audio Driven Diffusion Models
Victoria University（维多利亚大学）；Hainan University（海南大学）；Nanyang Technological University（南洋理工大学）
本文提出基于BriVL的通用语言表示学习方法UniBriVL，将音频、图像和文本嵌入共享空间，解决鲁棒语言表示学习挑战并捕捉音图相关性，实验证明其在下游任务及从音频生成、选择图像方面有效。
2023-09-09 cs.AI cs.SD eess.AS
CEM-Net: Cross-Emotion Memory Network for Emotional Talking Face Generation
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）
本文提出CEM-Net，通过音频情感增强模块和情感桥接记忆模块解决参考图像情感与音频情感冲突问题，实现情感准确、自然且唇形同步的说话人脸生成。
2025-08-17 cs.MM cs.SD
Understanding Audiovisual Deepfake Detection: Techniques, Challenges, Human Factors and Perceptual Insights
Academia Sinica（中央研究院）；National Tsing Hua University（国立清华大学）；National Chengchi University（国立政治大学）
本综述全面回顾了结合音频与视觉模态的音视频深度伪造检测技术、生成方法及开源数据集，旨在弥合单模态与多模态方法间的差距，提升检测有效性并指导未来网络安全研究。
2024-11-12 cs.AI cs.CV cs.LG
Bridging Echolocation Gaps in Automated Beaked Whale Tracking
Scripps Institution of Oceanography（斯克里普斯海洋研究所）；University of California at San Diego（加利福尼亚大学圣迭戈分校）；Institute of Telecommunications, TU Wien（维也纳工业大学电信研究所）
本文提出一种结合信念传播MTT与轨迹平滑拼接的多阶段目标估计方法，以桥接喙鲸回声定位点击序列中的大间隙，减少轨迹碎片化，并在GOSPA指标上优于现有方法。
2026-09-11 cs.SD eess.SP
EmoOmni: Bridging Emotional Understanding and Expression in Omni-Modal LLMs
Northwestern Polytechnical University, Xi'an, China（西北工业大学，西安，中国）；University of Surrey, Guildford, United Kingdom（萨里大学，Guildford，英国）
EmoOmni通过引入情感链式思维机制，提升多模态情感对话中的理解与表达能力，构建了评估基准并验证了其有效性。
2026-03-07 cs.SD eess.AS
Towards Resistant Audio Adversarial Examples
Fraunhofer AISEC（弗劳恩霍夫应用安全研究中心）
对抗性示例极大地威胁了基于机器学习的系统的可用性和完整性。虽然这种攻击的可行性首先在图像处理领域被观察到，但最近的研究表明，语音识别也容易受到对抗攻击的影响。然而，可靠地桥接气隙（即，使对抗性的例子在通过麦克风记录时起作用）迄今为止一直困扰着研究人员。我们发现，由于生成过程中的缺陷，最先进的对抗性示例生成方法由于目标语音识别系统中的分箱操作而导致过拟合（例如，Mozilla Deepspeech）。我们设计了一种方法来减轻这个缺陷，并发现我们的方法提高了具有不同偏移量的对抗性示例的生成。我们证实了显着的改善与我们的方法，在一个现实的空中设置的编辑距离的经验比较。我们的做法表明向空中攻击迈出了重要一步。我们发布代码和我们方法的适用实现。
2020-10-14 cs.CR cs.LG cs.SD
Advancing Singlish Understanding: Bridging the Gap with Datasets and Multimodal Models
Centre for Frontier AI Research (CFAR), A*STAR（前沿人工智能研究中心（CFAR），新加坡科技研究局）
针对口语新加坡英语研究不足的问题，研究者发布标准化标注的多任务口语语料库MNSC，并提出多任务多模态模型SingAudioLLM，在多项相关任务上取得最优性能，优于现有方案10-30%。
2025-01-11 cs.CL cs.SD eess.AS
VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection
Hefei University of Technology（合肥工业大学）
提出VAEmo两阶段框架，通过掩码重建与对比学习预训练统一VA表示，并利用多模态大模型生成情感描述注入知识，在多个AVER基准上以紧凑设计达到最先进性能。
2025-08-02 cs.CV cs.SD
TeMuDance: Contrastive Alignment-Based Textual Control for Music-Driven Dance Generation
University of Surrey, Guildford, Surrey, UK（萨里大学）；Jiangnan University, Wuxi, Jiangsu, China（江南大学）
本文提出TeMuDance框架，通过统一嵌入空间对齐音乐、文本和运动数据，实现无需手动标注数据的文本控制音乐驱动舞蹈生成，提升语义可控性。
2026-04-18 cs.CV cs.SD
CMA-OT: Hierarchical Expert Supervision for Dance-to-Music Generation
HKUST(GZ)（香港科技大学（广州））；Tencent（腾讯）
针对舞蹈到音乐生成中稀疏线索与密集音乐信息语义不匹配的问题，提出CMA-OT方法，利用外部音乐专家进行层级监督，结合课程引导多尺度学习和尺度感知最优传输对齐，在两个数据集上达到最先进性能。
2026-09-14 cs.AI cs.SD
M$^{2}$UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models
ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；National University of Singapore（新加坡国立大学）
针对大语言模型结合多模态音乐理解与生成的研究空白，提出M$^{2}$UGen框架，整合多类预训练模型与LLaMA 2，借助自建数据集训练，性能达当前SOTA水平。
2024-12-09 cs.MM cs.SD eess.AS
