What You See is What You Ask: Evaluating Audio Descriptions
CVIT, IIIT Hyderabad（计算机视觉与人工智能技术研究所，IIIT海得拉巴）
针对现有自动音频描述（AD）研究仅用裁剪片段和单参考评估的不足，该研究量化了AD创作的主观性，提出在数分钟连贯视频层面评估AD的ADQA问答基准，发现现有方法远逊于人工AD，并推出公开排行榜。
2025-10-01 cs.AI cs.CL cs.CV
WoW-Bench: Evaluating Fine-Grained Acoustic Perception in Audio-Language Models via Marine Mammal Vocalizations
Carnegie Mellon University（卡内基梅隆大学）；Seoul National University（首尔国立大学）；NVIDIA（NVIDIA公司）
本文提出WoW-Bench基准，利用海洋哺乳动物发声评估大型音频语言模型的低层次听觉感知与认知能力，实验表明现有模型性能远低于人类，揭示了增强听觉基础能力的必要性。
2026-10-21 cs.AI cs.SD eess.AS
SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models
SpeechR是一个统一基准，从事实检索、程序性推理和规范性判断三个维度评估大型音频语言模型的语音推理能力，发现高转录准确率不等于强推理能力。
2025-08-04 cs.AI cs.CL
KAD: No More FAD! An Effective and Efficient Evaluation Metric for Audio Generation
Gaudio Lab Inc.（Gaudio实验室）；KAIST（韩国科学技术院）；Genentech（基因泰克公司）
本文提出 Kernel Audio Distance（KAD），一种基于最大均值差异的无分布、无偏且计算高效的音频生成评估指标，解决了 FAD 的高斯假设、样本敏感和高计算成本问题，并在小样本收敛、GPU 加速和人类感知对齐方面表现更优。
2025-03-09 cs.AI cs.LG cs.SD
A Comprehensive Real-World Assessment of Audio Watermarking Algorithms: Will They Survive Neural Codecs?
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
研究提出 RAW-Bench 基准，系统评估基于深度学习的音频水印方法在真实世界音频攻击下的鲁棒性，发现神经压缩是最大挑战，且特定失真会严重影响现有方法。
2025-05-28 cs.AI cs.CR cs.LG
AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research（Salesforce人工智能研究）
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现，评估了大模型的音频描述能力，揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
AudioLens: Multi-Perspective Speech Clustering with Reasoning Audio-Language Models
University of California, Irvine（加利福尼亚大学欧文分校）；Dartmouth College（达特茅斯学院）；Purdue University Northwest（普渡大学西北分校）
该研究提出音频多视角聚类任务，构建基准AudioLens-Bench，开发经推理蒸馏和偏好优化训练的AudioLens-R1模型，实验显示其在语音聚类任务中性能优于基线模型。
2026-08-27 cs.AI cs.SD
OmniEval: A Benchmark for Evaluating Omni-modal Models with Visual, Auditory, and Textual Inputs
Huawei Noah’s Ark Lab（华为诺亚实验室）；University of Science and Technology of China（中国科学技术大学）
本文提出OmniEval基准，通过设计全模态协作任务、多样化视频和细粒度任务，全面评估全模态模型在视觉、听觉和文本输入下的协同感知与理解能力。
2025-06-29 cs.AI cs.CV
Unveiling Visual Biases in Audio-Visual Localization Benchmarks
Renmin University of China（中国人民大学）
该研究发现现有视听源定位（AVSL）基准存在视觉偏差问题，即发声物体易仅靠视觉线索识别，通过检验VGG-SS、EpicSounding-Object两个基准验证了仅视觉模型优于视听基线，指出现有基准需完善以促进视听学习。
2024-08-25 cs.AI cs.MM cs.SD
No Free Lunch from Audio Pretraining in Bioacoustics: A Benchmark Study of Embeddings
Department of Biomedical Engineering Johns Hopkins University（生物医学工程系约翰·霍普金斯大学）
本研究在生物声学任务中评估了11个深度学习模型的音频嵌入性能，发现音频预训练模型必须经过微调且需检查微调后的嵌入，否则表现不及微调后的AlexNet且难以分离背景声音。
2025-08-13 cs.AI cs.SD
Gender in Danger? Evaluating Speech Translation Technology on the MuST-SHE Corpus
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
从没有生产性语法性别的语言（如英语）翻译成性别标记的语言是机器的一个众所周知的困难。这种困难也是由于这样一个事实，即建立模型的训练数据通常反映了自然语言的不对称性，包括性别偏见。机器翻译只提供文本数据，因此在本质上受到输入句子并不总是包含有关所指人类实体性别身份的线索的事实的限制。但是，如果输入是音频信号，语音翻译会发生什么？音频能否提供更多信息以减少性别偏见？我们提出了第一次彻底调查的性别偏见在语音翻译，有助于：i）发布一个基准有用的未来的研究，和ii）不同的技术（级联和端到端）的比较两种语言方向（英语-意大利语/法语）。
2020-06-10 cs.AI cs.CL cs.SD
PodEval: A Multimodal Evaluation Framework for Podcast Audio Generation
The Chinese University of Hong Kong, Hong Kong, China（香港中文大学）；The Hong Kong University of Science and Technology, Hong Kong, China（香港科学与技术大学）；Microsoft, China（微软公司）；South China University of Technology, China（华南理工大学）；Northwestern Polytechnical University, China（西北工业大学）
针对开放式长音频生成缺乏统一评估标准的问题，研究提出多模态评估框架PodEval，构建真实播客数据集，从文本、语音、音频三维度结合主客观方法评估，验证了其在播客生成评估中的有效性。
2025-10-01 cs.AI cs.SD eess.AS
Diffusion Models for Joint Audio-Video Generation
本文提出联合音频视频生成方法，通过构建高质量数据集、训练MM-扩散架构、探索联合潜在扩散及提出两步文本到音频视频生成流程，提升生成质量与一致性。
2026-03-17 cs.AI cs.CV cs.MM
AOR-Bench: Do Large Audio Language Models Over-Refuse Pseudo-Harmful Queries?
Penn State University（宾夕法尼亚州立大学）
提出首个针对大型音频语言模型过度拒绝问题的基准AOR-Bench，包含3000个伪有害音频样本，评估12个模型发现过度拒绝普遍存在，并探索了两种轻量缓解策略。
2026-08-27 cs.AI cs.SD
AudioBERT: Audio Knowledge Augmented Language Model
POSTECH（浦项科技大学）；HJ AILAB（HJ人工智能实验室）；Inha University（仁荷大学）
针对纯文本预训练语言模型听觉知识匮乏的问题，提出基于检索的AudioBERT方法，通过检测提示听觉知识跨度、注入音频知识并结合低秩适配增强BERT，在自建AuditoryBench基准上取得优异性能。
2025-01-16 cs.AI cs.CL cs.SD
UltraEval-Audio: A Unified Framework for Comprehensive Evaluation of Audio Foundation Models
ModelBest Inc.（ModelBest公司）；Tsinghua University（清华大学）
UltraEval-Audio提出一个统一框架，解决音频模型评估的统一性、编解码器评估和中文基准问题，提供多语言支持和实时排行榜。
2026-01-04 cs.AI cs.SD eess.AS
Evaluating Prompt Robustness in Text-to-Audio Systems for Adaptive Virtual Agents and Game Soundtracks
本文评估文本到音频生成系统在受控提示扰动下的语义脆弱性，通过三种扰动方法测试不同模型的鲁棒性，发现大模型在语义一致性上表现更好，但音频和时间分析显示存在持续差异。
2026-09-16 cs.AI cs.SD
AudioMotionBench: Evaluating Auditory Motion Perception in Audio LLMs
Wuhan University（武汉大学）；University of Queensland（昆士兰大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Merced（加州大学默塞德分校）
AudioMotionBench通过评估音频大语言模型对移动声源方向和轨迹的感知能力，揭示了当前模型在听觉空间推理方面的局限性。
2026-01-22 cs.AI cs.SD
Text-to-Audio Grounding Based Novel Metric for Evaluating Audio Caption Similarity
TCS Research, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS研究院）
自动音频字幕（AAC）是指将音频样本翻译成描述音频事件、事件来源及其关系的自然语言（NL）文本的任务。与依赖于基于词汇语义的BLEU、ROUGE、METEOR等指标进行评估的NL文本生成任务不同，AAC评估指标需要能够映射与词汇语义之外的类似声音相对应的NL文本（短语）。目前用于评估AAC任务的指标缺乏对文本所表示的声音的感知属性的理解。在本文中，我们提出了一种新的度量基于文本到音频接地（TAG），这是有用的跨模态任务，如AAC的评估。公开可用的AAC数据集上的实验表明，我们的评价指标，以执行更好的NL文本和图像描述文献中使用的现有指标相比。
2022-10-03 cs.AI cs.CL cs.SD
Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents
University of Florida（佛罗里达大学）
提出五项语义与副语言推理任务（蕴含、一致性、合理性、口音漂移、口音约束），评估音频语言模型在口音变化、领域迁移和语义过度推断下的推理能力，揭示当前评估的局限性。
2026-06-11 cs.AI cs.CL cs.SD
SEABED: SouthEast Asian Benchmark for Evaluating Audio Reasoning
Centific AI Research（Centific 人工智能研究院）
针对现有音频推理基准偏重英语和通用领域的问题，提出SEABED，一个基于真实东南亚语音语料构建的六任务问答基准，含5,404个问答对，评估显示最先进模型Gemini 3.5 Flash仅达50.3%加权平均准确率，并额外检验推理是否基于音频证据。
2026-09-22 cs.AI cs.SD
AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering
National Taiwan University（国立台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
AQAScore通过音频问答评估文本到音频生成的语义对齐，利用大型语言模型的推理能力，有效捕捉语义不一致性。
2026-01-21 cs.AI cs.CL cs.LG
Challenge on Sound Scene Synthesis: Evaluating Text-to-Audio Generation
KAIST（韩国科学技术院）；NYU（纽约大学）；Doshisha Univ.（同志社大学）；UTokyo（东京大学）；Nantes Université（南特大学）；CMU（卡内基梅隆大学）
本文介绍 DCASE 2024 的 Sound Scene Synthesis 挑战赛，结合 Fréchet Audio Distance 与人类感知评估文本转音频模型，揭示模型规模、架构和类别差异，并验证客观指标有效性。
2024-10-23 cs.AI cs.LG cs.MM
When Audio Separation Hurts Zero-Shot ASR: Evaluating SAM-Audio with Whisper on Bengali and English Speech
Department of Computer Science and Engineering, University of Rajshahi（计算机科学与工程系，拉贾沙希大学）；Anan National College of Technology（安安国立技术学院）
研究发现，SAM-Audio预处理虽提升信号质量，但导致零样本ASR识别性能下降，揭示了机器识别与人类感知的不匹配问题。
2026-07-16 cs.AI cs.LG cs.SD
From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models
University of California Irvine（加州大学尔湾分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Kennesaw State University（肯尼索州立大学）
提出CASU基准，通过构建半合成音频流和设计四项任务，评估大型音频语言模型整合语音、事件和背景环境进行上下文感知听觉场景理解的能力。
2026-06-25 cs.AI cs.MM cs.SD
Evaluating the Effectiveness of Pre-Trained Audio Embeddings for Classification of Parkinson's Disease Speech Data
Centre for Language Studies, Radboud University（拉德堡德大学语言研究中心）
本文在NeuroVoz数据集上比较OpenL3、VGGish和Wav2Vec2.0预训练音频嵌入的PD语音分类效果，发现OpenL3整体最优，并揭示性别偏差与非典型语音误分类问题。
2025-06-02 cs.AI eess.AS
Evaluating Multimodal LLMs across Text and Audio Modalities for Accessible Disaster Assistance
本文评估了开放权重多模态大语言模型在灾害援助场景下跨文本与音频模态的响应一致性，发现其存在模态依赖的不公平性，为构建公平的灾害沟通AI工具提供了设计建议。
2026-08-18 cs.AI cs.HC
Evaluating Hallucinations in Audio-Visual Multimodal LLMs with Spoken Queries under Diverse Acoustic Conditions
Department of Intelligent Software, Sungkyunkwan University（智能软件系，成均馆大学）；Department of Computer Science and Engineering, Sungkyunkwan University（计算机科学与工程系，成均馆大学）
研究探讨语音查询对多模态幻觉的影响，通过RePOPE-Spk基准测试发现语音查询导致错误率显著增加，提出改进方法以提升语音界面可靠性。
2026-03-19 cs.AI cs.SD eess.AS
Toward Scalable Audio Description Quality Control: A Workflow for Evaluating Human and VLM Raters
Northeastern University（东北大学）；San Francisco State University（旧金山州立大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一种评估人类和VLM评分者音频描述质量的流程，利用项目反应理论评估其与专家标准的匹配程度，发现VLM在大规模评估中可与人类评分者相当，但其推理可靠性较低。
2026-09-01 cs.AI cs.HC
KoALa-Bench: Evaluating Large Audio Language Models on Korean Speech Understanding and Faithfulness
Department of Artificial Intelligence, Chung-Ang University（Chung-Ang 大学人工智能系）；Upstage AI
本文提出KoALa-Bench，一个用于评估大型音频语言模型在韩语语音理解和忠实性方面的基准，包含六个任务，涵盖语音识别、翻译、问答和指令跟随等核心能力，并包含韩国特定知识内容。
2026-09-01 cs.AI cs.CL cs.SD
KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs
KRAFTON；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；Department of Mathematical Sciences, Seoul National University（首尔国立大学数学科学系）
针对语音语言模型评估中英语中心化的问题，提出两种智能体驱动的基准构建框架，构建并发布了三个韩语语音基准（KVoiceBench、KOpenAudioBench、KMMAU），通过评估八个最新模型揭示了英语-韩语性能差距和不同任务间的互补性弱点。
2026-09-01 cs.AI cs.CL
Adaptive Perturbation Selection for Contrastive Audio Decoding
Google（谷歌）；University of Iowa（爱荷华大学）
针对大型音频语言模型幻觉问题，提出自适应选择最优音频扰动作为对比解码负分支的方法，在时序、存在性等任务上提升准确率。
2026-09-11 cs.AI cs.SD
Evaluating Neural Networks Architectures for Spring Reverb Modelling
Universitat Pompeu Fabra（庞培法布拉大学）
本文比较五种卷积与循环神经网络架构，在16 kHz和48 kHz两个数据集上评估其对非线性弹簧混响效果的黑盒建模及参数控制能力。
2024-09-08 cs.AI cs.SD
Synthetic Voices, Real Threats: Evaluating Large Text-to-Speech Models in Generating Harmful Audio
Stony Brook University（石英布鲁克大学）；Zhejiang University（浙江大学）；The Hong Kong Polytechnic University（香港理工大学）
针对大型文本转语音模型生成有害音频的新型内容类威胁，本文提出HARMGEN攻击套件，通过两类攻击绕过安全防护，验证了现有防御的漏洞，呼吁构建跨模态安全机制。
2025-11-14 cs.AI cs.CR cs.MM
SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Groningen（Groningen大学）；York University（约克大学）
提出SONIC-O1基准，包含60小时人工验证的音视频数据，评估多模态大语言模型在开放摘要、多项选择问答和时序定位上的能力，发现模型在时序定位上存在显著性能差距和人口统计偏差。
2026-10-02 cs.AI cs.CV
Audio Retrieval with WavText5K and CLAP Training
Microsoft（微软）
音频文本检索采用自然语言查询来检索数据库中的相关音频文件。相反，文本音频检索将音频文件作为查询来检索相关的自然语言描述。大多数文献训练检索系统与一个音频字幕数据集，但评估的好处，训练与多个数据集是underexplored。此外，检索系统必须学习描述长度从几秒到几分钟不等的音频内容的详细句子之间的对齐。在这项工作中，我们提出了一个新的收集网络音频文本对和一个新的检索框架。首先，我们提供了一个大约5000个网络音频文本对的新集合，我们称之为WavText 5 K。当用于训练我们的检索系统时，WavText 5 K比其他音频字幕数据集提高了性能。其次，我们的框架通过使用文本编码器，两个音频编码器和对比学习目标来学习连接语言和音频内容。结合两个音频编码器有助于处理可变长度音频。这两个贡献击败了AudioCaps和Clotho在文本-音频检索方面的最新性能，分别为2%和16%，以及6%和23%的音频-文本检索。
2022-09-28 cs.AI eess.AS
WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs
Xiaohongshu Inc.（小红书公司）；Shanghai Jiao Tong University（上海交通大学）
WorldSense是首个评估多模态大语言模型现实世界多模态理解能力的基准，通过多模态协作、多样化视频任务和高质量标注，全面评估模型在复杂场景中的表现。
2026-03-01 cs.AI cs.CV
Evaluating Multimodal Large Language Models on Core Music Perception Tasks
Department of Psychology, Music and Audio Research Laboratory（心理学系、音乐与音频研究实验室）；Department of Electronic Engineering and Computer Science（电子工程与计算机科学系）
本研究基准测试三种多模态大语言模型在音乐感知任务上的表现，发现模型在MIDI输入上接近满分，但在音频输入上准确率显著下降，表明当前系统擅长符号推理但缺乏可靠的音频感知能力。
2025-10-25 cs.AI cs.SD eess.AS
MMTB: Evaluating Terminal Agents on Multimedia-File Tasks
GSAI, POSTECH（POSTECH 人工智能研究所）；CSE, POSTECH（POSTECH 计算科学与工程系）；National AI Research Lab（国家人工智能研究实验室）；Krafton AI（Krafton 人工智能）
本文提出MMTB基准，评估终端代理处理音频和视频文件的能力，引入Terminus-MM工具扩展功能，揭示多媒体访问对任务结果的影响。
2026-05-08 cs.AI cs.MM
OmnixR: Evaluating Omni-modality Language Models on Reasoning across Modalities
Google DeepMind（谷歌DeepMind）；University of Maryland, College Park（马里兰大学帕克分校）；Google（谷歌）
本文提出OmnixR评估套件，包含合成与真实多模态数据集，用于测试GPT-4o等全模态语言模型的跨模态推理能力，实验发现现有模型在整合多模态信息时仍面临挑战。
2024-10-16 cs.AI cs.CL cs.MM
CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following
本文提出CMI-Bench，将传统音乐信息检索任务转化为指令遵循格式，全面评估音频-文本LLM在MIR任务上的表现，揭示其与监督模型的性能差距及偏见，为音乐感知LLM发展奠定统一基础。
2025-06-27 cs.AI cs.LG cs.SD
Diffused Responsibility: Analyzing the Energy Consumption of Generative Text-to-Audio Diffusion Models
Université de Lorraine, CNRS, Inria, Loria（洛林大学、法国国家科学研究中心、法国国家信息与自动化技术研究院、Loria）
本文分析了7个最先进的基于扩散的文本到音频生成模型的能耗，评估生成参数对推理能耗的影响，并通过Pareto最优解寻求音频质量与能耗的最佳平衡，为开发更高效的模型提供见解。
2025-07-16 cs.AI cs.LG cs.SD
All That Glitters Is Not Audio: Rethinking Text Priors and Audio Reliance in Audio-Language Evaluation
National Taiwan University（国立台湾大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立成功大学人工智能卓越研究中心（NTU AI-CoRE））
研究通过文本先验和音频依赖两个维度评估音频-语言模型，发现模型在无音频输入时仍能保持60-72%的分数，挑战了音频理解与评估成绩等同的假设。
2026-04-27 cs.AI cs.CL cs.SD
IHBench: Evaluating Post-Interruption Recovery in Voice Agents with Structured Workflows
Boson AI
提出IHBench基准，评估语音代理在结构化工作流中处理中断后的恢复能力，涵盖任务完成和恢复质量两个维度，实验表明闭源模型比开源模型更鲁棒。
2026-06-19 cs.AI cs.LG
Evaluating Bias in Spoken Dialogue LLMs for Real-World Decisions and Recommendations
Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Soul AI Lab, China（灵魂AI实验室，中国）
该研究首次系统评估口语对话大语言模型的偏见，采用GUS和SNSR指标测试多类开源与闭源模型，发现闭源模型偏见更低、推荐任务易放大群体差异，还发布了FairDialogue数据集助力相关研究。
2025-09-27 cs.AI cs.CL
Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
National Taiwan University（国立台湾大学）；Amazon（亚马逊）
研究文本到音频指令跟随问题，提出用音频感知大语言模型作细粒度评判器的框架，经验证后用其反馈构建偏好对优化，引入S3Bench基准，实验证明该方法能提升事件完整性、时间排序和指令跟随准确性，且保持音频质量。
2026-07-28 cs.AI cs.CL cs.LG
QAMRO: Quality-aware Adaptive Margin Ranking Optimization for Human-aligned Assessment of Audio Generation Systems
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；Institute of Computer Science, Academia Sinica, Taiwan（学术院计算机科学研究所，台湾）；United Link Co., Ltd., Taiwan（联合链接公司，台湾）
针对音频生成系统评估中标准回归损失忽略感知相对性的问题，提出质量感知自适应边际排序优化框架QAMRO，整合多视角回归目标并利用预训练模型，在AudioMOS Challenge 2025数据集上实现了与人类评估更优的对齐。
2025-08-12 cs.AI cs.LG cs.SD
The MUSE Benchmark: Probing Music Perception and Auditory Relational Reasoning in Audio LLMS
针对现有评估可能掩盖多模态大语言模型关系推理缺陷的问题，研究者推出含10项任务的MUSE音乐感知开源基准，测试发现四款SOTA音频大模型能力差异大且与人类有差距，CoT提示效果不稳定。
2025-10-21 cs.AI cs.SD eess.AS
CMDAR: A Chinese Multi-scene Dynamic Audio Reasoning Benchmark with Diverse Challenges
College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学）；Shanghai Jiao Tong University（上海交通大学）；IEIT Systems Co Ltd（IEIT系统有限公司）
CMDAR是一个中文多场景动态音频推理基准，旨在评估模型在复杂音频推理任务中的表现，通过精心设计的问题-答案对和多样化音频片段，揭示现有音频语言模型在复杂推理任务中的局限性。
2026-01-06 cs.AI cs.CL cs.SD
Mind the Prompt: Prompting Strategies in Audio Generations for Improving Sound Classification
Politecnico di Milano（米兰理工大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文研究了Text-To-Audio模型生成数据集的提示策略，发现任务特定提示优于基础方法，且合并不同模型生成的数据集比单纯增加数据量更能有效提升声音分类性能。
2025-04-04 cs.AI cs.SD eess.AS
