In-the-wild Audio Spatialization with Flexible Text-guided Localization
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
本文提出文本引导的音频空间化框架TAS，并构建包含37.6万样本的SpatialTAS数据集，通过文本提示实现对双耳音频空间位置的灵活交互式控制，在模拟与真实数据上均优于现有方法。
2025-06-01 cs.AI cs.SD eess.AS
Fine-Tuning MIDI-to-Audio Alignment using a Neural Network on Piano Roll and CQT Representations
Klangio GmbH（Klangio公司）；University of Music Karlsruhe（卡尔斯鲁厄音乐学院）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种卷积循环神经网络（CRNN）方法，通过处理未对齐的钢琴卷帘谱和频谱图来估计对齐的钢琴卷帘谱，以解决人类钢琴演奏音频与松散对齐MIDI文件的同步问题，其准确率比DTW方法高出20%。
2025-06-27 cs.CL cs.MM cs.SD
Cross-Domain Audio Deepfake Detection: Dataset and Analysis
Huawei Translation Services Center（华为翻译服务中心）
本文构建了包含300小时语音的跨域音频深度伪造检测数据集，通过攻击增强训练使Wav2Vec2-large和Whisper-medium模型取得优异检测效果，并验证了少样本微调能力，指出神经编解码压缩器对检测精度影响显著。
2024-09-20 cs.AI cs.SD eess.AS
RECAP: Retrieval-Augmented Audio Captioning
University of Maryland, College Park（马里兰大学帕克分校）
RECAP 提出一种检索增强的音频字幕生成方法，利用 CLAP 检索相似字幕构建提示并借助 GPT-2 与交叉注意力生成字幕，无需微调即可跨域迁移，并在域外场景和新型音频事件上取得显著提升。
2024-06-06 cs.AI cs.CL cs.SD
BINAQUAL: A Full-Reference Objective Localization Similarity Metric for Binaural Audio
School of Computer Science（计算机科学学院）；University College Dublin（都柏林大学学院）；Google LLC（谷歌公司）
本文提出全参考客观指标 BINAQUAL，将 AMBIQUAL 适配至双耳音频，以评估定位相似度，并证明其对空间变化敏感且与主观测试高度相关。
2025-10-19 cs.SD eess.AS
Event-Grounded Question Answering over Long Audio via Structured Retrieval
Qualcomm Technologies, Inc., India（印度高通技术公司）；Qualcomm Technologies, Inc., USA（美国高通技术公司）；University of Turku, Finland（芬兰图尔库大学）
提出LA-RAG框架，通过音频基础模型将长音频转为带时间戳的事件记录并存入SQL数据库，结合意图感知检索和LLM生成，实现低延迟高精度的长音频问答，在多个基准上提升时间定位F1达11-17%。
2026-06-29 cs.AI cs.LG eess.AS
AudioTQ: A Data-Oblivious 6-Bit CPU Audio Codec via Randomized Hadamard Rotation and Lloyd-Max Quantization
本文提出AudioTQ，一种基于随机哈达玛旋转与劳埃德-麦克斯韦量化的6位CPU时域音频编解码器，无需硬件加速即可实现实时执行，可将音频文件大小缩减74.4%，SQNR约30 dB。
2026-08-18 cs.AI cs.CR cs.SD
ARIA: Audio-Driven Melody-Tone Relation Modeling for Cantonese Lyric Authoring
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
ARIA提出两阶段音频驱动框架，直接从歌唱录音预测声调序列并生成声调一致的粤语歌词，构建大规模数据集，实验验证其有效性。
2026-10-07 cs.CL cs.SD
SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding
University of Western Australia（西澳大利亚大学）；University of Science and Technology Beijing（北京科技大学）；Monash University（莫纳什大学）
本文推出真实世界空间视听理解基准SAVU-Bench及配套诊断集SAVU-Diag，评估发现音频相关空间感知是瓶颈，提出无需训练的基线SAVU-EA可提升空间接地与匹配能力，凸显跨模态空间关系整合的重要性。
2026-10-09 cs.AI cs.SD
The Impact of Audio Watermarking on Audio Anti-Spoofing Countermeasures
Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems（多模态智能系统苏州市级重点实验室）；Digital Innovation Research Center（数字创新研究中心）；Duke Kunshan University（杜克昆山大学）；OfSpectrum, Inc.（OfSpectrum公司）
本文首次研究音频水印对反欺骗系统的影响，发现水印会降低性能，并提出KPWL框架以保持检测能力，建立首个水印鲁棒性基准。
2025-09-25 cs.LG
Conditional Generative Data Augmentation for Clinical Audio Datasets
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；University Hospital Balgrist（巴尔格里斯特大学医院）；Balgrist University Hospital（巴尔格里斯特大学医院）
本文提出基于 cWGAN-GP 的临床音频数据增强方法，在 log-mel 频谱图上生成逼真类别条件样本，并在全髋关节置换术真实手术室音频数据集上验证，使 ResNet-18 分类器的 Macro F1 平均提升 1.70%，优于经典音频增强方法。
2022-06-24 cs.LG cs.SD eess.AS
Sound Model Factory: An Integrated System Architecture for Generative Audio Modelling
National University of Singapore（新加坡国立大学）
我们介绍了一种新的数据驱动音频声音模型设计系统，该系统围绕两种不同的神经网络架构构建，即生成对抗网络（GAN）和递归神经网络（RNN），该系统利用每种网络的独特特性来实现系统目标，而这两种网络都无法单独解决。该系统的目标是生成交互式可控的声音模型，给定（a）模型应该能够合成的声音范围，以及（b）用于导航该声音空间的参数控制的规范。声音的范围由设计者提供的数据集定义，而导航手段由数据标签的组合和从GAN学习的潜在空间中选择的子流形定义。我们提出的系统利用了GAN丰富的潜在空间，该空间由声音组成，这些声音填补了”真实数据“声音之间的空间。然后，来自GAN的这种增强数据用于训练RNN，以使其能够立即并连续地响应参数变化，并在无限的时间段内生成音频。此外，我们开发了一种自组织映射技术，用于“平滑”GAN的潜在空间，从而在音频音色之间实现感知上平滑的插值。我们通过用户研究来验证这个过程。该系统对生成声音模型设计的现有技术做出了贡献，该生成声音模型设计包括系统配置和组件，用于改进插值以及将音频建模能力扩展到音高和乐器声音之外到更复杂的音频纹理空间。
2022-06-27 cs.NE cs.SD eess.AS
PodSumm -- Podcast Audio Summarization
Gracenote Inc.（格雷斯诺特公司）
播客的多样性、规模和特殊性对内容发现系统提出了独特的挑战。听众通常依赖播客创作者提供的剧集文本描述来发现新内容。一些因素，如叙述者的呈现风格和制作质量，是用户主观偏好的重要指标，但难以量化，也没有反映在播客创作者提供的文本描述中。我们建议自动创建播客音频摘要，以帮助内容发现，并帮助听众在投入时间收听整集之前快速预览播客内容。在本文中，我们提出了一种方法来自动构建一个播客摘要，通过从文本域的指导。我们的方法执行两个关键步骤，即，音频到文本转录和文本摘要生成。由于缺乏用于此任务的数据集，我们策划了一个内部数据集，找到了一个有效的数据增强方案，并设计了一个协议来收集注释者的摘要。我们使用我们的增强数据集微调PreSumm[10]模型并进行消融研究。我们的方法在我们的数据集上实现了0.63/0.53/0.63的ROUGE-F（1/2/L）分数。我们希望这些结果可以启发未来在这个方向上的研究。
2020-09-22 cs.CL cs.LG cs.MM
Zero-Shot Respiratory Sound Classification through LLM-Augmented Audio-Text Alignment
Eindhoven University of Technology（埃因霍温理工大学）；Singapore Management University（新加坡管理大学）
该研究提出LLM增强的音频-文本对齐框架，解决呼吸编码器零样本推理的临床语义缺失问题，在9项任务上的零样本AUC优于CLAP等模型，数据效率更高。
2026-09-02 cs.AI cs.CL cs.SD
ALCAP: Alignment-Augmented Music Captioner
USC Information Sciences Institute（南加州大学信息科学研究所）；TikTok Inc.（TikTok公司）；University of Buffalo（布法罗大学）
本研究提出ALCAP方法，通过对比学习音频与歌词间的多模态对齐，增强跨模态连贯性以生成高质量音乐字幕，在两个数据集上达到SOTA。
2023-10-22 cs.CL cs.IR cs.MM
Audio Dialogues: Dialogues dataset for audio and music understanding
NVIDIA（英伟达）
针对现有音频理解数据集多为单轮交互、缺乏对话式理解支撑的问题，研究团队构建了含16.38万样本的多轮音频对话数据集Audio Dialogues，覆盖通用音频与音乐，支持多音频比较，基于提示方法和现有字幕标注用LLM生成对话，并验证了其复杂性与适用性。
2024-04-11 cs.CL cs.SD eess.AS
Retrieval Augmented End-to-End Spoken Dialog Models
Google（谷歌公司）
本文提出检索增强的SLM（ReSLM），通过语音检索器获取音频中的文本实体并输入模型，提升语音对话状态跟踪性能，在DSTC-11上联合目标准确率达38.6%。
2024-02-02 cs.AI cs.CL cs.SD
FLAP: Fast Language-Audio Pre-training
Meta；FAIR（元人工智能研究院）
本研究提出自监督快速语言-音频预训练方法FLAP，通过令牌丢弃、跨模态掩码对比学习、音频重构及LLM文本增强，高效学习对齐表示，在两个音频文本检索基准上达SOTA。
2023-11-02 cs.CL cs.SD eess.AS
SyncVoice: Simple and Effective Automatic Video Dubbing with Vision-Augmented TTS
School of Informatics, Xiamen University, China（厦门大学信息学院）；MiLM Plus, Xiaomi Inc., China（小米公司）；School of Electronic Science and Engineering, Xiamen University, China（厦门大学电子科学与技术学院）
SyncVoice通过视觉增强预训练TTS模型，提升视频配音的语音自然度和音视频同步性能，适用于多语言视频翻译场景。
2026-09-16 cs.AI cs.CL cs.CV
Data Augmentation for Spoken Grammatical Error Correction
ALTA Institute, Department of Engineering（ALTA研究所，工程系）
针对SGEC标注数据稀缺问题，提出全自动生成含语法错误与不流利现象音频-文本对的方法及客观评估指标，并在S&I Corpus上验证其对书面GEC和SGEC的增强价值。
2025-07-25 cs.AI cs.CL cs.SD
Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition
DFG's Reinhart Koselleck project（德国科研基金Reinhart Koselleck项目）；EU H2020 project（欧盟H2020项目）
研究音频语言模型中显式声学线索的对齐性，通过eGeMAPS特征提取六种可解释声学概念标记，发现对齐标记提升UAR，而错乱标记降低性能，模型对符号线索敏感但仍部分依赖音频信号。
2026-06-05 cs.AI cs.CL cs.SD
SpeechJBB: Probing Safety Alignment and Comprehension in Large Audio Language Models under Code-Switched Speech
Mila - Quebec AI Institute（魁北克AI研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出SpeechJBB数据集，通过代码切换有害音频和伪词插入方法，揭示大型音频语言模型在多语言和口语设置下的安全漏洞。
2026-09-01 cs.CL cs.SD eess.AS
VAT-KG: Knowledge-Intensive Multimodal Knowledge Graph Dataset for Retrieval-Augmented Generation
Korea University（韩国大学）；Sungkyunkwan University（全北大学）；Hanwha Systems（韩华系统）
针对现有MMKG范围受限问题，提出首个概念中心、知识密集型的VAT-KG，覆盖视觉、音频和文本，并通过严格对齐流程自动构建，结合新RAG框架，实验证明其有效支持MLLM多模态问答。
2025-09-26 cs.CL
Sample, Translate, Recombine: Leveraging Audio Alignments for Data Augmentation in End-to-end Speech Translation
Heidelberg University（海德堡大学）
针对端到端语音翻译配对数据稀缺问题，提出基于音频对齐的Sample, Translate, Recombine数据增强法，仅用现成组件即可稳定提升多语言对BLEU值。
2022-03-16 cs.CL eess.AS
Improving generalization of vocal tract feature reconstruction: from augmented acoustic inversion to articulatory feature reconstruction without articulatory data
Istituto Italiano di Tecnologia（意大利技术研究院）
本文解决发音运动重建的泛化难题，提出在XRMB数据集上利用音素标签作为深度循环网络输入，并设计一种无需发音测量、直接从纯声学数据集恢复声道运动的新方法，其生成的发音特征与实测特征相关系数达0.59。
2018-12-03 cs.CL
SALM: Speech-augmented Language Model with In-context Learning for Speech Recognition and Translation
NVIDIA（英伟达）
提出SALM模型，结合冻结文本LLM、音频编码器和LoRA层，实现多任务和上下文学习，在ASR和AST上性能与Conformer相当，并通过语音监督上下文训练增强零样本学习能力，已开源。
2023-10-13 cs.CL cs.HC cs.SD
M$^3$KG-RAG: Multi-hop Multimodal Knowledge Graph-enhanced Retrieval-Augmented Generation
Korea University（高丽大学）；Sungkyunkwan University（成均馆大学）；NVIDIA Research（英伟达研究院）；Hanwha Systems（韩华系统）
本文提出M$^3$KG-RAG，通过构建多跳多模态知识图谱并引入GRASP机制，提升多模态大语言模型的推理深度和回答准确性。
2026-04-13 cs.AI cs.CL
COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University（国立台湾师范大学）
研究旨在增强复杂多实体场景中的语音增强语言模型，提出COALA框架，通过将SLM潜在表示映射到判别空间量化匹配强度，并解决训练崩溃问题，在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
Retrieval-Augmented Multimodal Depression Detection
College of Information Science and Engineering, Ritsumeikan University（信息科学与工程学院，立命馆大学）；College of Computer Science and Technology, Zhejiang University（计算机科学与技术学院，浙江大学）
针对多模态抑郁症检测中计算成本高、领域不匹配及静态知识局限的问题，提出RAG框架，利用LLM生成情感提示作为辅助模态，在AVEC 2019数据集上达到CCC 0.593和MAE 3.95的最优性能。
2025-10-29 cs.CL cs.LG
Retrieving Multimodal Information for Augmented Generation: A Survey
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Salesforce Research（Salesforce研究院）
本文综述了通过检索图像、代码、表格、图和音频等多模态知识来增强大型语言模型生成能力的方法，以提升模型在事实性、推理、可解释性和鲁棒性方面的表现。
2023-12-01 cs.CL
AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model
FAIR, Meta（元宇宙公司基础人工智能研究院）；Meta Reality Labs（元宇宙公司现实实验室）
本文提出统一的任意模态增强语言模型 AnyMAL，通过预训练对齐器将图像、视频、音频、IMU 等信号映射到 LLM 文本空间，并结合多模态指令微调，在多项任务上达到最先进性能。
2023-09-27 cs.CL cs.CV cs.LG
