Closing the Verification Loop: Self-Check Captioning for Long-Paragraph Detailed Audio Captioning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Kuaishou Technology(快手科技)
本研究针对长段落详细音频字幕的未解决问题,提出SCC框架,构建LACap-50k语料库与LC-SFT方法,使系统在开源字幕生成器中达最优性能。
2026-09-01 cs.SD
Audio Dialogues: Dialogues dataset for audio and music understanding
NVIDIA(英伟达)
针对现有音频理解数据集多为单轮交互、缺乏对话式理解支撑的问题,研究团队构建了含16.38万样本的多轮音频对话数据集Audio Dialogues,覆盖通用音频与音乐,支持多音频比较,基于提示方法和现有字幕标注用LLM生成对话,并验证了其复杂性与适用性。
2024-04-11 cs.CL cs.SD eess.AS
AC/DC: LLM-based Audio Comprehension via Dialogue Continuation
SB IntuitionsJapan(SB Intuitions日本)
本研究提出AC/DC音频理解模型,通过对话延续训练方式利用LLM能力,仅用音频字幕数据集训练即实现零样本指令遵循,在多个数据集及音频问答测试中验证了其遵循未见指令的效果。
2025-06-12 cs.CL cs.SD eess.AS
AQUA-Bench: Beyond Finding Answers to Knowing When There Are None in Audio Question Answering
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan(台湾国立台湾大学通信工程研究所);Artificial Intelligence Center of Research Excellence (AI-CoRE), National Taiwan University, Taiwan(台湾国立台湾大学人工智能研究中心)
AQUA-Bench针对音频问答中不可回答的问题提出评估基准,评估三种场景:缺失答案检测、不兼容答案集检测和不兼容音频问题检测,推动更稳健可靠的音频-语言系统发展。
2026-05-10 cs.AI cs.CL cs.LG
Modality-Independent Teachers Meet Weakly-Supervised Audio-Visual Event Parser
National Taiwan University(国立台湾大学);Microsoft(微软);NVIDIA(英伟达)
针对弱监督非对齐视听事件解析任务,提出VALOR方法,利用模态无关对比预训练教师模型生成模态标签,在LLP数据集及视听事件定位任务上均刷新最优性能。
2023-10-02 cs.CV cs.SD eess.AS
Audio Question Answering with GRPO-Based Fine-Tuning and Calibrated Segment-Level Predictions
Inria Paris, LR2(巴黎Inria)
本文针对DCASE 2025音频问答任务,提出结合BEATs提取校准的声学事件分段预测、经GRPO微调Qwen2.5-7B-Instruct的方法,在开发集取得62.6%的准确率。
2025-11-18 cs.LG cs.SD
OP-CAD: On-Policy Clean-Audio Distillation for Robust Audio-Visual Reasoning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对视听问答中的噪声干扰问题,提出基于课程学习的在线策略干净音频蒸馏框架OP-CAD,通过选择性token级监督提升稳健性,优于现有方法且不损失干净准确率。
2026-10-01 cs.CV cs.SD
RA-QA: A Benchmarking System for Respiratory Audio Question Answering Under Real-World Heterogeneity
本文提出RA-QA基准系统,通过标准化数据生成流程和统一评估协议,整合900万组异构问答对,评估通用音频语言模型和领域特定架构在现实异质性下的表现。
2026-06-29 cs.LG cs.SD eess.AS
WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM
Tsinghua University(清华大学);WeChat Vision, Tencent Inc.(腾讯公司)
WAVE通过联合多模态多任务训练方法,实现了统一且多功能的音频-视觉嵌入,显著提升了跨模态检索和问答性能。
2026-02-23 cs.CV cs.SD
Clotho-AQA: A Crowdsourced Dataset for Audio Question Answering
Tampere University(坦佩雷大学)
音频问答(AQA)是多模态翻译任务,其中系统分析音频信号和自然语言问题,以生成期望的自然语言答案。在本文中,我们介绍Clotho-AQA,一个数据集的音频问答,包括1991个音频文件,每个之间的持续时间为15至30秒,从Clotho数据集选择。对于每个音频文件,我们使用Amazon Mechanical Turk通过众包收集六个不同的问题和相应的答案。问题和答案由不同的注释器生成。在每个音频的六个问题中,两个问题每个都被设计为有“是”和“否”作为答案,而剩下的两个问题有其他单字答案。对于每个问题,我们从三个不同的注释者那里收集答案。我们还提出了两个基线实验来描述我们的数据集的AQA任务的使用-基于LSTM的多模态二进制分类器的“是”或“否”类型的答案和基于LSTM的多模态多类分类器的828个单字的答案。二元分类器实现了62.7%的准确率,多类分类器实现了54.2%的前1准确率和93.7%的前5准确率。Clotho-AQA数据集可在https://zenodo.org/record/6473207在线免费获得。
2022-06-17 cs.LG cs.SD eess.AS
MoLT: Mixture of Layer-Wise Tokens for Efficient Audio-Visual Learning
KAIST(韩国科学技术院);Sejong University(世宗大学)
MoLT通过层级令牌融合提升音频视觉学习效率,采用轻量适应策略和正交正则化,优于现有方法。
2025-11-27 cs.CV cs.MM cs.SD
Temporal Reasoning via Audio Question Answering
Facebook Reality Labs(Facebook现实实验室);Facebook AI Research(Facebook人工智能研究院)
多模态问答任务可以作为代理任务来研究能够感知和推理世界的系统。关于不同类型的输入方式的问题强调了推理的不同方面,如视觉推理,阅读理解,故事理解或导航。本文以音频问答(AQA)为例,研究了机器学习模型的时态推理能力。为此,我们介绍了诊断音频问答(DAQA)数据集,包括自然声音事件的音频序列和编程生成的问题和答案,探测时间推理的各个方面。我们适应最近的几个国家的最先进的视觉问答的AQA任务的方法,并使用DAQA证明,他们表现不佳的问题,需要深入的时间推理。最后,我们提出了一个新的模型,多个辅助控制器的线性调制(MALiMo),扩展了最近的智能线性调制(FILM)模型,并显着提高其时间推理能力。我们设想DAQA促进AQA和时间推理的研究和MALiMo的AQA模型的一步。
2019-11-21 cs.CL cs.LG cs.SD
FQuAD2.0: French Question Answering and knowing that you know nothing
Illuin Technology(伊鲁因科技)
问答,包括阅读理解,是NLP研究领域之一,在过去的几年里,由于语言建模的同步进步,已经取得了重大的科学突破。然而,这些突破大多集中在英语上。2020年,作为第一个弥合法语差距的强有力举措,Illuin Technology推出了FQuAD 1. 1,这是一个法语母语阅读理解数据集,由从维基百科文章中提取的60,000多个问题和答案样本组成。尽管如此,在此数据集上训练的问答模型有一个主要缺点:它们无法预测给定问题何时在感兴趣的段落中没有答案,因此在各种工业用例中做出不可靠的预测。在目前的工作中,我们介绍了FQuAD 2.0,它扩展了FQuAD与17,000+无法回答的问题,注释相反,为了类似于可回答的。这个新的数据集总共包含近80,000个问题,使得训练法国问答模型能够区分无法回答的问题和可回答的问题。我们用这个数据集对几个模型进行了基准测试:我们最好的模型,一个微调过的CamemBERT-large,在这个分类任务上的F1得分为82.3%,在阅读理解任务上的F1得分为83%。
2021-09-27 cs.AI cs.CL cs.LG
Audiopedia: Audio QA with Knowledge
Indian Institute of Technology, Jodhpur(焦特布尔印度理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出Audiopedia知识密集型音频问答任务及通用框架,通过音频实体链接和知识增强多模态模型提升大型音频语言模型的推理能力。
2024-12-29 cs.LG cs.MM cs.SD
Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models
Tsinghua University(清华大学);ByteDance(字节跳动)
提出FAVOR框架,通过因果Q-Former实现帧级音视频联合表示,提升多模态LLM的视频理解,在视频问答任务上准确率提升超20%。
2023-10-10 cs.AI cs.CV cs.SD
Seeing is Knowing! Fact-based Visual Question Answering using Knowledge Graph Embeddings
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于事实的可视化问答(FVQA)是VQA的一个具有挑战性的变体,它要求QA系统在其推理过程中包括来自不同知识图谱(KG)的事实以产生答案。大型幼儿园,特别是常识幼儿园,已知是不完整的,即,并不是所有不存在的事实都是不正确的。因此,能够对不完整的KG进行QA推理是现实世界应用中的一个关键要求,在文献中尚未广泛解决。我们开发了一种新的QA架构,使我们能够对不完整的KG进行推理,这是目前FVQA最先进的方法(SOTA)所缺乏的,因为它们对事实检索的关键依赖。我们使用KG嵌入,一种广泛用于KG完成的技术,用于FVQA的下游任务。我们还采用了一种新的图像表示技术,我们称之为“图像作为知识”,以实现这一能力,以及一个简单的一步CoAttention机制,以参加文本和图像在QA。我们的FVQA架构在推理时间内更快,为O(m),而现有的FVQA SOTA方法为O(N log N),其中m =顶点数,N =边数= O(m^2)。KG嵌入显示持有补充信息词嵌入:这两个指标的组合允许性能媲美SOTA方法在标准答案检索任务,并显着更好(26%绝对),在建议的缺失边缘推理任务。
2021-06-18 cs.CL cs.LG
AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
AQAScore通过音频问答评估文本到音频生成的语义对齐,利用大型语言模型的推理能力,有效捕捉语义不一致性。
2026-01-21 cs.AI cs.CL cs.LG
Event-Grounded Question Answering over Long Audio via Structured Retrieval
Qualcomm Technologies, Inc., India(印度高通技术公司);Qualcomm Technologies, Inc., USA(美国高通技术公司);University of Turku, Finland(芬兰图尔库大学)
提出LA-RAG框架,通过音频基础模型将长音频转为带时间戳的事件记录并存入SQL数据库,结合意图感知检索和LLM生成,实现低延迟高精度的长音频问答,在多个基准上提升时间定位F1达11-17%。
2026-06-29 cs.AI cs.LG eess.AS
Machine Unlearning for Speech Question Answering in Large Audio-Language Models
Meta Platforms, Inc.(Meta平台公司)
本研究针对大型音频语言模型中的语音问答任务,提出多种机器遗忘策略(如梯度上升、任务算术和对齐微调),在降低高达80%隐私泄露率的同时,保持非私有任务性能接近不变。
2026-09-15 cs.CL cs.LG cs.SD
Attention-Based Methods For Audio Question Answering
Tampere University(坦佩雷大学)
提出基于自注意力与交叉注意力的音频问答模型,在Clotho-AQA上显著提升是/否和单词答案准确率,并发布修订数据集。
2023-05-31 cs.CL cs.LG cs.SD
CaReAQA: A Cardiac and Respiratory Audio Question Answering Model for Open-Ended Diagnostic Reasoning
Eindhoven University of Technology(埃因霍温理工大学);Kyutai France(Kyutai法国分公司);Eindhoven Artificial Intelligence Systems Institute(埃因霍温人工智能系统研究所)
提出音频-语言模型 CaReAQA 结合基础音频模型与大型语言模型推理能力,并引入基准数据集 CaReSound,在开放式诊断推理任务上达到 86.2% 准确率,有效推动临床决策支持。
2025-06-01 cs.LG
AQUALLM: Audio Question Answering Data Generation Using Large Language Models
Reliance Jio AICoE(信实Jio人工智能卓越中心)
针对音频问答数据集缺乏的问题,提出基于大型语言模型的AQUALLM框架,利用现有音频-字幕标注生成大规模高质量AQA数据,并构建三个基准数据集,显著提升模型性能与泛化能力。
2023-12-28 cs.AI cs.CL cs.LG
RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language
Worcester Polytechnic Institute(伍斯特理工学院)
针对多模态问答中模态不一致易误导融合模型的问题,提出核心为QuART查询条件跨模态门控模块的RAVEN架构,经三阶段训练,搭配新发布的AVS-QA数据集,在多个基准上实现显著准确率提升且模态损坏下鲁棒性优异。
2025-09-05 cs.CL cs.CV cs.LG
EntQA: Entity Linking as Question Answering
Rutgers University(罗格斯大学)
实体链接的传统方法是首先在给定文档中找到提及,然后在知识库中推断它们的底层实体。这种方法的一个众所周知的局限性是,它需要在不知道它们的实体的情况下找到提及,这是不自然和困难的。我们提出了一个新的模型,不受此限制称为EntQA,它代表实体链接作为问答。EntQA首先使用快速检索模块提出候选实体,然后使用强大的阅读器模块仔细检查文档以找到每个候选实体的提及。我们的方法结合了实体链接与开放领域问答的进展,并利用预训练模型进行密集实体检索和阅读理解。与以前的作品不同,我们不依赖于候选人词典或大规模的弱监督。EntQA在GERBIL基准测试平台上取得了优异的成绩。
2022-03-07 cs.CL cs.LG
Knowing When to Quit: Probabilistic Early Exits for Speech Separation
Technical University of Denmark(丹麦技术大学);WS Audiology(WS听力科技公司)
本文提出了一种具有概率早退能力的语音分离与增强神经网络架构,通过建模信号和误差方差以实现动态计算优化,提升资源利用效率。
2026-03-04 cs.LG cs.SD eess.AS
Zero-Shot End-To-End Spoken Question Answering In Medical Domain
Avignon University(阿维尼翁大学);Zenidoc(泽尼多克公司);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本文提出医学领域零样本端到端口语问答方法,在8项医学任务和48小时合成音频基准上,相比级联系统资源最多减少14.7倍且平均准确率提升0.5%。
2024-06-09 cs.CL cs.LG cs.SD
Multimedia-Aware Question Answering: A Review of Retrieval and Cross-Modal Reasoning Architectures
Carnegie Mellon University(卡内基梅隆大学);Boston University(波士顿大学)
本综述回顾了集成多媒体检索的问答系统,按检索、融合和生成策略分类,分析基准与挑战,并展望未来方向。
2025-10-23 cs.CL cs.CV cs.IR
Learning When to Think While Listening in Large Audio-Language Models
University of Pennsylvania(宾夕法尼亚大学)
提出一种可学习的等待-思考-回答控制机制,通过多奖励强化学习优化大音频语言模型在流式语音交互中的推理时机,在提升准确率的同时减少响应延迟。
2026-05-26 cs.AI cs.CL cs.LG
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST(韩国科学技术院);AITRICS
我们考虑了一种新的问答(QA)任务,其中机器需要从大型流数据(长文档或视频)中读取,而不知道何时会给出问题,由于缺乏可扩展性,这很难用现有的QA方法解决。为了解决这个问题,我们提出了一种新的端到端深度网络模型,用于阅读理解,我们称之为情景记忆阅读器(EMR),它将输入的上下文顺序地读取到外部存储器中,同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言,我们训练RL代理在内存满时替换内存条目,以便在未来时间点最大化其QA准确性,同时使用GRU或Transformer架构对外部内存进行编码,以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集(bAbI)以及真实世界的大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证了我们的模型,在这些数据集上,它比基于规则的内存调度策略或基于RL的基线(独立学习每个内存的查询特定重要性)实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语会话问答(SCQA)要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同,SCQA涉及音频信号处理、段落理解和上下文理解。然而,ASR系统引入了意想不到的噪声信号,这导致SCQA的性能下降。为了克服这个问题,我们提出了CADNet,一种新的上下文化的注意力蒸馏方法,它适用于交叉注意力和自我注意力,以获得ASR鲁棒的上下文嵌入表示的通道和对话历史,以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验,并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Conformal Alignment: Knowing When to Trust Foundation Models with Guarantees
University of Chicago(芝加哥大学);Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出一致性对齐框架,利用参考数据训练预测器,通过数据相关阈值选择可信输出,保证平均一致性比例,适用于问答和放射学报告生成。
2024-11-05 cs.AI cs.LG stat.ML
Empowering Long-form Omni-modal Understanding with Robust Audio Perception
SAI, Shanghai Jiao Tong University(上海交通大学 上海人工智能研究院);Zhejiang University(浙江大学);Shanghai AI Lab(上海人工智能实验室)
为解决全模态理解不足问题,提出AVDC数据集及AVDC-QA-CoT数据集,利用现成模型标注视频,采用两阶段训练范式,在多下游任务实验中取得显著性能提升,推动全模态感知发展。
2026-07-14 cs.LG
Tackling Data Bias in MUSIC-AVQA: Crafting a Balanced Dataset for Unbiased Question-Answering
University of Washington(华盛顿大学);Stony Brook University(石溪大学)
本文针对MUSIC-AVQA数据集中的答案偏差,构建了平衡数据集MUSIC-AVQA v2.0,并提出新基线模型,在准确率上提升2%,达到最先进水平。
2023-10-10 cs.AI cs.CL cs.CV